LLM Bias — Skævheder og fejl i AI-sprogmodeller

LLM bias er ikke en tilfældig fejl — det er systematiske mønstre i en models output der konsekvent afviger fra virkeligheden i en bestemt retning. Forstår du kilden til bias, kan du designe workflows der kompenserer for den.

Hvad er LLM bias?

En LLM producerer output baseret på statistiske mønstre i sin træningsdata. Bias opstår når disse mønstre afspejler skævheder i kildematerialet — og modellen reproducerer og forstærker dem.

Bias i LLM’er er ikke det samme som hallucination. Hallucination er at modellen opfinder noget der ikke er faktuelt korrekt. Bias er at modellen systematisk vægter, framer eller udelader information på måder der afspejler skævheder i træningsdata eller i den efterfølgende finjustering.

Typer af LLM bias

Representationsbias: Visse grupper, geografier eller perspektiver er overrepræsenteret i træningsdata (primært engelsk, vestlig, velstillet). Modellen vil naturligt generere output der afspejler disse perspektiver og undervurderer andre.

Recency bias: Nyere tekster i træningsdatasættet er overrepræsenteret fordi web-indhold akkumuleres over tid. Nyere trends, teknologier og begivenheder trumfer ældre, veletablerede viden.

Confirmation bias via RLHF: Reinforcement learning from human feedback (RLHF) gør modellen bedre til at give svar som menneskelige raters godkender. Raters er ikke neutrale — de har egne præferencer og skævheder der guides ind i modellen. Modellen lærer at give svar der lyder rigtige og imødekommende, ikke nødvendigvis svar der er rigtige.

Sycophancy: LLM’er har en tendens til at bekræfte brugerens forudsætninger frem for at modsige dem. Hvis du formulerer et spørgsmål med en fejlagtig præmis, vil modellen ofte svare som om præmissen er korrekt.

Topical bias: Visse emner er dårligt repræsenteret i træningsdata — specialiserede fag, nichesprog, lokale markeder. Output om disse emner er mere upålideligt end output om velrepræsenterede emner.

Bias i SEO-konteksten

For SEO-praktikere der bruger LLM’er til analyse og content-produktion er der specifikke bias-risici:

Anglocentrisme: Modeller trænet primært på engelsk tekst vil underrepræsentere dansk markedsspecifikke nuancer, lokale søgeadfærdsmønstre og kulturelle referencer.

Populæritetsbias i søgeordsanalyse: Når du beder en LLM om at estimere søgeintention eller volumen, vil den trække på sin træningsdata — som afspejler hvad der er meget skrevet om, ikke hvad der faktisk søges. Brug altid faktiske søgeordsdata som grounding.

Sycophancy i content review: Hvis du beder LLM’en om at vurdere dit eget indhold, vil den tendere mod at rose det. Bed eksplicit om kritik og worst-case-scenarier for at modvirke dette.

Kompensation i praksis

Bias kan ikke elimineres, men den kan kompenseres:

Ground med faktiske data: Brug RAG eller tool use til at give modellen faktabaseret kontekst fra authoritative datakilder — søgedata, crawl-data, officielle statistikker. Reducerer topical bias markant.

Adversarial prompting: Bed aktivt modellen om at argumentere imod sin egen konklusion eller finde svagheder i det output den netop producerede.

Eksplicit framing: Formuler prompts der specificerer det ønskede perspektiv — “analyser dette fra et dansk marked-perspektiv” — frem for at lade modellen vælge defaultperspektivet.

Diversificér modeller: Brug mere end én model til vigtige analyser. Divergens i svarene signalerer usikkerhed eller bias.