Tokens og tokenisering — Hvad det er og hvorfor det betyder noget

En token er ikke et ord, ikke et tegn og ikke en sætning. Det er den grundenhed som AI-modeller faktisk processerer — og forståelse for tokens er praktisk nyttig fordi det direkte påvirker to ting: hvad du betaler og hvad modellen kan huske.

Hvad er en token

Tokenisering er processen der opdeler tekst i de bider modellen behandler. Typiske mønstre:

• Korte, hyppige ord: “er”, “og”, “i” → typisk 1 token
• Mellemlange ord: “søgemaskine” → 2-3 tokens
• Lange sammensatte ord: “søgemaskineoptimering” → 4-6 tokens
• Tal og specialtegn: “2026” → 1-2 tokens, ”#” → 1 token

På engelsk er tommelfingerreglen 1 token ≈ 4 tegn eller ¾ ord. På dansk er morfologien mere kompleks — sammensætninger er hyppige og tokeniseres til flere tokens, så den samme information kræver typisk lidt flere tokens på dansk end på engelsk.

Du kan se tokenisering i aktion på Anthropics og OpenAIs tokenizer-tools online. Indsæt tekst og se præcis hvordan den opdeles.

Praktiske konsekvenser

Pris: API-kald prissættes i tokens. En typisk prompt + svar på 2.000 ord koster ca. 2.500-3.500 tokens. Multiplicit med tusindvis af kald om måneden, og det akkumulerer. Effektiv prompt-design handler delvis om at kommunikere præcist — ikke om at spare tokens til et punkt det skader output-kvalitet, men om at undgå tomme gentagelser og unødvendig padding.

Context window: Modellens “hukommelse” i en session måles i tokens. Claudes 200.000 token context window svarer til ca. 150.000 ord. Sender du lange prompts med mange eksempler og kontekst, spiser du af den grænse.

Kodning er dyrt: Kode med masser af specialtegn, indrykning og symboltunge syntaks tokeniseres til markant flere tokens per meningsenhed end prosatext. Sende store kodeblokke til analyse er tokenprismæssigt dyrt.

Tal er dyre og upålidelige: “1.234.567,89” tokeniseres som en sekvens af tegn, ikke som et tal. Det er en af grundene til at LLM’er er dårlige til aritmetik — de “ser” ikke tal som numeriske værdier.

Input vs. output tokens

API-priser skelner typisk mellem input tokens (din prompt) og output tokens (modellens svar). Output tokens er dyrere — typisk 3-5x dyrere per token end input.

Implikation: det er billigere at sende lang kontekst end at bede om langt output. Hvis du kan strukturere en opgave så output er kortfattet og struktureret (JSON frem for en lang narrativ rapport), reducerer du cost markant.

Tokenisering og sprog

Tokenisering-modeller er primært trænet på engelsk tekst. Det betyder at sjældnere sprog (dansk inkluderet) generelt tokeniseres mindre effektivt — du bruger flere tokens per informationsenhed. Dansk tekst kræver typisk 10-15% flere tokens end tilsvarende engelsk tekst.

Det er et konkret argument for at skrive prompts på engelsk hvis outputtet kan genereres på dansk efterfølgende — men i praksis er forskellen lille nok at det sjældent er værd at kompromittere prompt-klarhed for at spare tokens på sprog.

Hvornår du aktivt tæller tokens

For de fleste ad hoc-opgaver er token-bevidsthed irrelevant — du taster, modellen svarer, og du betaler et øretal. Token-bevidsthed bliver relevant:

• Når du nærmer dig context window-grænsen og skal prioritere hvad der er i kontekst
• Når du bygger høj-volumen batch-processing workflows og ønsker at optimere cost
• Når du designer prompts til produktionsbrug og vil estimere monthly API-udgift

De fleste LLM-biblioteker (anthropic Python SDK, openai Python SDK) returnerer token-count i API-responsen, så du kan monitorere forbrug præcist.