Artikel

GPT-2 og tidlig generativ AI — Springet til transformer-baseret tekstgenerering

GPT-2 (2019) genererede overbevisende tekst med 1,5 mia. parametre. OpenAI tøvede med fuld udgivelse. Startpunktet for æraen af LLM-baseret tekstgenerering.

Sidst opdateret:

I 2017 publicerede Google researchers “Attention Is All You Need” — papiret der introducerede transformer-arkitekturen og lagde fundamentet under alle moderne LLM’er. Det var ikke en chatbot, ikke et produkt, men en arkitektonisk idé der inden for to år fundamentalt ændrede NLP og banede vejen fra statistisk tekstgenerering til den generative AI der i dag driver søgemaskiner, AI-assistenter og agentic SEO-workflows.

Den direkte konsekvens var to parallelle projekter med modsatte mål: BERT (Google, 2018) optimerede til forståelse — givet en tekst, hvad er den mest sandsynlige manglende del? GPT (OpenAI, 2018) og dets efterfølger GPT-2 (2019) optimerede til generering — givet en tekst, hvad er det mest sandsynlige næste stykke?

GPT-2: Tekst der overraskede

GPT-2 med 1,5 milliarder parametre producerede output der var kvalitativt anderledes end alt der var kommet fra Markov-modeller eller Word2Vec-baserede systemer. Givet prompten “The researchers worked side by side in the lab” fortsatte modellen med en grammatisk, sammenhængende og faktisk læsbar passage om videnskabeligt laboratoriearbejde — ikke bare statistisk plausibel ordsekvens.

OpenAI udgav ikke GPT-2 fuldt ud ved launch. Begrundelsen var bekymring for misbrug — desinformation, spam, automatiseret propaganda. I stedet udgav de modellen i etaper og afventede reaktioner på de løbende releases. Det var første gang en AI-virksomhed eksplicit tilbageholdt et system af frygt for skadevirkninger.

Retrospektivt virker den bekymring overdrevet — GPT-2 er i dag trivielt at køre lokalt og er langt fra det mest avancerede system tilgængeligt. Men i 2019 var det en ny slags advarsel.

Perioden 2019-2022

Mellem GPT-2 og ChatGPT skete meget.

GPT-3 (2020)

Med 175 milliarder parametre demonstrerede GPT-3 few-shot learning — modellen kunne løse opgaver den aldrig var specifikt trænet på, blot ved at se eksempler i prompten. API-adgang åbnede for en generation af GPT-3-baserede produkter.

GitHub Copilot (2021)

Det første masseadopterede AI-kodegenererings-produkt var baseret på Codex, en GPT-3 fintunet på kode. Det introducerede AI-assistance som et praktisk arbejdsredskab for millioner af udviklere.

InstructGPT (2022)

OpenAI introducerede RLHF (Reinforcement Learning from Human Feedback) — modellen trænedes til at følge instruktioner frem for blot at fortsætte tekst. Det var den afgørende tekniske forskel der muliggjorde ChatGPT.

Hvad der adskilte GPT-2 fra spintax og Markov

Forskellen er ikke bare skala — den er arkitektonisk. Transformer-modeller har attention-mekanismer der tillader hvert token at tage hensyn til alle andre tokens i konteksten. Det giver langsigtet sammenhæng som hverken spintax, Markov-kæder eller Word2Vec kunne opnå.

Resultatet er tekst der er sammenhængende over hele passager, der husker detaljer fra indledningen, og der kan følge komplekse instruktioner. Det er en kvalitativ — ikke blot kvantitativ — forskel fra det der kom før. → Denne artikel er en del af Generativ AI-historik — Fra spintax til sprogmodeller.

Del af: Generativ AI-historik — Fra spintax til sprogmodeller →

Andre artikler i samme emne

Relaterede begreber

Emne Generativ AI-historik — Fra spintax til sprogmodeller Fra spintax-skabeloner og RSS-scraping i 00'erne til Markov-kæder, Word2Vec og GPT-2 — historien om automatisk tekstgenerering før LLM'erne. Artikel Transformer-arkitektur — Den tekniske grund under alle moderne LLM'er Transformer-arkitekturen (2017) introducerede attention-mekanismer der giver modellen fuld kontekst over hele inputtet. Fundamentet under GPT, BERT, Claude og Gemini. Emne Sprogmodeller og LLM'er — Hvad de er og hvordan de virker LLM'er er transformer-baserede modeller der forudsiger næste token. Forstå tokens, context window, embeddings og fine-tuning. Artikel Word2Vec og tidlige embeddings — Da ord fik retning i vektorrum Word2Vec (2013) lærte ordvektorer via et neurnalt netværk — king - man + woman ≈ queen. Det første praktiske bevis på at neurale embeddings fanger semantisk mening. Emne ChatGPT og OpenAI — Modeller, API og brug til SEO ChatGPT er OpenAIs mest kendte interface — GPT-4o og o3 er de underliggende modeller. Forstå hvad de kan og hvad de ikke kan til SEO. Hovedguide AI-modeller — LLM'er, Claude, ChatGPT og agentic workflows AI-modeller er store sprogmodeller (LLM'er) der forstår og genererer tekst. Guide til Claude, ChatGPT, Gemini og agentic workflows til SEO og automation.

Ofte stillede spørgsmål

Hvad var GPT-2 og hvorfor var det bemærkelsesværdigt?
GPT-2 var et transformer-baseret sprogmodel fra OpenAI (2019) med 1,5 milliarder parametre. Det var bemærkelsesværdigt fordi det producerede output der var kvalitativt anderledes end alle tidligere systemer: givet en tekst-prompt genererede det grammatisk, sammenhængende og faktisk læsbar tekst over hele passager — ikke bare statistisk plausible ordsekvenser som Markov-kæder. OpenAI udgav ikke modellen fuldt ud ved launch af frygt for misbrug — første gang en AI-virksomhed eksplicit tilbageholdt et system af frygt for skadevirkninger.
Hvad skete der mellem GPT-2 (2019) og ChatGPT (2022)?
Tre milepæle markerede perioden: GPT-3 (2020) med 175 milliarder parametre demonstrerede few-shot learning — modellen kunne løse opgaver den aldrig var specifikt trænet på, blot ved at se eksempler i prompten. GitHub Copilot (2021) baseret på Codex (GPT-3 fine-tunet på kode) var det første masseadopterede AI-kodegenererings-produkt for millioner af udviklere. InstructGPT (2022) introducerede RLHF — modellen trænedes til at følge instruktioner frem for blot at fortsætte tekst. Det var den afgørende tekniske forskel der muliggjorde ChatGPT.
Hvad adskiller GPT-2 fundamentalt fra Markov-kæder og spintax?
Forskellen er ikke bare skala — den er arkitektonisk. Spintax har regler og skabeloner men ingen lærte mønstre. Markov-kæder lærer sandsynligheder fra data men ser kun de foregående n ord. GPT-2 er en transformer med attention-mekanismer der tillader hvert token at tage hensyn til alle andre tokens i konteksten — det giver langsigtet sammenhæng og semantisk forståelse som ingen af forgængerne kunne opnå. Resultatet er tekst der husker detaljer fra indledningen og kan følge komplekse instruktioner — en kvalitativ, ikke blot kvantitativ, forskel.
Hvorfor introducerede InstructGPT en fundamental ændring frem for GPT-3?
GPT-3 var et base-completion-system: givet en tekst-prompt fortsatte modellen teksten statistisk sandsynligt. Det er ikke det samme som at besvare spørgsmål eller følge instruktioner. InstructGPT (2022) introducerede RLHF og trænede modellen på menneskelig feedback til at prioritere instruktionsfølgning over ren tekstforudsigelse. Det var det afgørende tekniske spring: en model der følger 'Skriv en meta description til denne side' frem for at generere generisk tekst om meta descriptions. ChatGPT er i bund og grund InstructGPT gjort tilgængeligt via en chat-interface.
Hvad er BERT og hvorfor er det relevant for søgemaskineforståelse?
BERT (Bidirectional Encoder Representations from Transformers, Google 2018) er en encoder-only transformer der forstår sprogets kontekst i begge retninger — hvert ord ses i relation til alle omgivende ord. Det gør BERT fremragende til tekstforståelse og klassificering. Google integrerede BERT i søgealgoritmen i 2019 (Google BERT-opdateringen) — en af de mest signifikante ranking-ændringer i årtiet. BERT forbedrede Googles evne til at forstå naturligt sprog i søgeforespørgsler, særligt prepositionale fraser og spørgsmål. Det er en direkte årsag til at søgeintention og naturligt sprog er vigtigere end keyword-stuffing i SEO i dag.

Placering i ordbogen

AI-modeller — LLM'er, Claude, ChatGPT og agentic workflows
Generativ AI-historik — Fra spintax til sprogmodeller
GPT-2 og tidlig generativ AI — Springet til transformer-baseret tekstgenerering