Word2Vec og tidlige embeddings — Da ord fik retning i vektorrum

Ofte stillede spørgsmål

Hvad er Word2Vec og hvad var det revolutionerende ved det?

Word2Vec er et neuralt netværk fra Google (2013) der repræsenterer hvert ord som en vektor med typisk 100-300 dimensioner, hvor semantisk relaterede ord ligger tæt på hinanden i det matematiske rum. Det revolutionerende var at semantiske relationer var algebraisk konsistente: vektor(king) - vektor(man) + vektor(woman) ≈ vektor(queen). Semantiske og syntaktiske relationer var ikke bare nærhed — de var retning. Det var det første neurale embedding-system der kombinerede høj kvalitet med praktisk skalerbarhed.

Hvad er begrænsningen ved Word2Vec sammenlignet med moderne embeddings?

Word2Vec producerer ét embedding per ord — uanset kontekst. 'Bank' har ét embedding hvad enten det drejer sig om en pengeinstitution eller en flodbredde. Det er en fundamental begrænsning. Løsningen kom med ELMo (2018) og BERT (2018): kontekstuelle embeddings der producerer unikke vektorer per ord per kontekst baseret på hele den omgivende sætning. Det krævede transformer-arkitektur og markerede overgangen fra pre-LLM NLP til fundamentet for moderne sprogmodeller.

Hvad er Word2Vec relevant for i moderne SEO?

Word2Vec og dets efterfølgere GloVe og FastText er stadig i brug i semantiske søgesystemer, content clustering tools og keyword-research software. Forståelsen af at søgeord og emner eksisterer i vektorrum — og at nærhed i det rum svarer til semantisk relation — er direkte anvendelig i topical authority-strategier og semantisk indholdsoptimering. Den konceptuelle arv fra Word2Vec er desuden tydelig i de moderne transformer-embeddings der driver RAG-systemer og semantisk søgning i 2026.

Hvad er FastText og hvornår er det bedre end Word2Vec til dansk indhold?

FastText (Meta/Facebook 2016) repræsenterer ord som summer af karakter-n-gram vektorer frem for hele ord som i Word2Vec. Det giver to konkrete fordele for dansk indhold: håndtering af ukendte ord (ord der ikke var i træningsdatasættet kan stadig embeddes via deres karakter-n-gram) og bedre håndtering af dansk morfologi (sammensatte ord som 'søgemaskineoptimering' dekomponeres til overlappende karakter-sekvenser der fanger dele af ordets semantik). For keyword-research-tools og klassificering af dansk webtekst er FastText eller dets efterfølgere stadig bedre end Word2Vec.

Hvad er ELMo og hvad løste det som Word2Vec ikke kunne?

ELMo (Embeddings from Language Models, Allen Institute 2018) introducerede kontekstuelle embeddings: hvert ord får en unik vektor baseret på den fulde omgivende kontekst, ikke ét fast embedding uanset sammenhæng som i Word2Vec. 'Bank' i 'banken ved floden' og 'banken godkendte lånet' får to fundamentalt forskellige ELMo-embeddings. Det var det afgørende skridt mellem Word2Vec og BERT — ELMo brugte en biretektional LSTM-arkitektur (ikke transformer), og BERT forbedrede det yderligere med full transformer-attention. ELMo er historisk vigtigt som det første brede kontekstuelle embedding-system men er i dag erstattet af transformer-baserede embeddings.