Vad är en token?
En token är den bit text som en AI-modell läser och skriver: ofta ett kort ord, ibland en del av ett längre. Allt i AI-världen räknas i tokens, från hur mycket modellen kan minnas till vad det kostar.
Ord blir bitar
En språkmodell ser inte bokstäver och inte riktigt ord heller. Innan texten når modellen delas den upp i tokens. Vanliga ord som och, hej och bil blir ofta en enda token. Ovanliga eller långa ord delas upp i flera bitar, ungefär som Kärn | kraft | s | utbygg | nads | programmet. Exakt hur uppdelningen blir skiljer sig mellan olika modeller.
Även mellanslag, skiljetecken och siffror blir tokens. Varje token motsvaras av ett nummer, och det är de numren modellen räknar med.
Svenska kräver fler tokens
Modellerna har tränats på mest engelsk text, så engelska ord blir oftare hela tokens. På engelska brukar en token motsvara ungefär fyra tecken, eller tre fjärdedels ord. Svenska, med sina långa sammansatta ord, behöver oftast fler tokens för samma innehåll. Det märks inte när du chattar, men det påverkar hur mycket text som får plats och vad det kostar för den som använder AI via API.
Varför spelar det roll?
- Minnet i samtalet. Hur mycket modellen kan ha i huvudet på en gång kallas kontextfönster och mäts i tokens. Moderna modeller klarar flera hundra tusen tokens, alltså långa rapporter och böcker. I väldigt långa samtal kan den ändå tappa detaljer, och då hjälper det att börja om i en ny chatt med en kort sammanfattning.
- Priset. Företag och utvecklare som använder AI via API betalar per token, både för det de skickar in och det som kommer ut.
- Farten. Svaret skrivs token för token. Det är därför texten ofta dyker upp bit för bit på skärmen.
Därför är AI dålig på att räkna bokstäver
Om du frågar hur många r det finns i ett ord eller ber AI:n stava något baklänges kan den göra bort sig. Den ser ju inte bokstäverna, bara tokens. Det är inte dumhet utan en följd av hur texten matas in. Ber du den gå igenom ordet bokstav för bokstav blir det oftast rätt.