Tokeni (token)

Kielitieteessä tekstin pituutta mitataan saneilla, kielimallien yhteydessä puhutaan tokeneista. Tokeni on kielimallin sisäinen symboli yhdelle tai useammalle sanalle tai sen osalle. (Huom. tokeneilla voidaan symboloida myös kuvia tai audiota käsittelevää korpusta.) Ks. Tiktokenizer-työkalu

(Tokenilla ei ole vakiintunutta suomalaista termiä. Tietojärjestelmätieteessä puhutaan symboleista, tekstialkioista ja joskus myös poleteista, joista mikään ei mielestäni ole tähän yhteyteen sopiva.)

← Takaisin sanastoon