Artikel

Robots.txt — Styring af Googlebots adgang til dit site

Robots.txt er det første Googlebot tjekker — filen angiver hvilke dele af sitet crawleren må besøge.

Sidst opdateret:

Robots.txt er en tekstfil der sidder i roden af dit domæne og styrer hvilke URL-stier søgemaskinecrawlere må besøge. Alle store søgemaskiner tjekker den ved hvert sitebesøg. Filen er lille men magtfuld: korrekt konfigureret sparer den crawl budget på sider der ikke skal indekseres. Forkert konfigureret — særligt med en for bred Disallow-regel — kan den effektivt blokere hele sitet fra Google.

Hvad er robots.txt?

Robots.txt er en tekstfil der implementerer Robots Exclusion Protocol — en frivillig standard, som alle store søgemaskiner respekterer. Filen angiver:

  • Hvilke crawlere reglerne gælder for
  • Hvilke URL-mønstre der er tilladt eller forbudt at crawle
  • Hvor sitemappen er placeret

Filen skal altid placeres på:

https://eksempel.dk/robots.txt

Og kun ét sted — i roden af domænet. En robots.txt på /undermappe/robots.txt har ingen effekt.

Grundlæggende syntaks

Robots.txt-filen består af grupper (kaldet records), én gruppe per crawler:

User-agent: *
Disallow: /admin/
Disallow: /intern/
Allow: /admin/public/
Sitemap: https://eksempel.dk/sitemap.xml

User-agent

Angiver hvilken crawler reglen gælder for:

  • User-agent: * — alle crawlere
  • User-agent: Googlebot — kun Googles crawler
  • User-agent: bingbot — kun Bings crawler

Disallow

Blokerer crawling af et URL-mønster. Tomme Disallow (Disallow:) er tilladt for alle:

User-agent: *
Disallow:

Allow

Tillader crawling af et specifikt mønster inden for en ellers blokeret mappe. Allow har højere prioritet end Disallow, når begge matcher en URL.

Sitemap

Reference til din XML sitemap — kan placeres som separat linje, uafhængig af User-agent grupper:

Sitemap: https://eksempel.dk/sitemap.xml
Sitemap: https://eksempel.dk/sitemap-nyheder.xml

Typiske use cases

Bloker CMS-admin og backend

User-agent: *
Disallow: /wp-admin/
Disallow: /administrator/
Disallow: /backend/

Bloker interne søgeresultater

User-agent: *
Disallow: /soeg/
Disallow: /?s=

Bloker URL-parametre

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?session=

Tillad Googlebot specifikt, bloker alle andre

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

Den kritiske forskel: robots.txt vs noindex

Dette misforstås hyppigt:

Robots.txt blokerer crawling — men forhindrer IKKE indeksering.

En side blokeret i robots.txt kan stadig indekseres af Google, hvis andre sites linker til den. Google ved siden eksisterer fra links — men kan ikke se dens indhold (fordi crawling er blokeret).

Konsekvensen: Siden kan vises i søgeresultater som en tom entry uden titel og beskrivelse.

Brug robots.txt til sider du ikke vil have crawlet — typisk ressourcetunge sider og fortrolige sider med adgangskode. Brug noindex til sider der gerne må crawles, men ikke skal indekseres. Brug aldrig begge metoder til det samme formål på den samme side.

Robots.txt-tester i Google Search Console

Under “Settings” > “Crawlers” > “Robots.txt” finder du Googles officielle robots.txt-tester. Den viser:

  • Hvilke regler der gælder for Googlebot
  • Om en specifik URL er blokeret eller tilladt
  • Eventuelle syntax-fejl i filen

Test altid kritiske ændringer i robots.txt, inden de går live.

Ofte stillede spørgsmål

Hvad sker der, hvis robots.txt-filen ikke eksisterer?

Google antager at der ingen begrænsninger er og crawler alt. En manglende robots.txt er ikke en fejl.

Er robots.txt et sikkerhedsredskab?

Nej. Robots.txt er en frivillig standard — ondsindede bots ignorerer den. Brug server-authentication til at beskytte fortrolige sider.

Kan robots.txt-regler overtrumfe noindex?

Ja — hvis Googlebot blokeres fra at crawle en side, ser den aldrig noindex-direktivet. Se artiklen om noindex for detaljer.

Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog. → Denne artikel er en del af Crawling og indeksering — Sådan læser Google din kode.

Del af: Crawling og indeksering — Sådan læser Google din kode →

Andre artikler i samme emne

Relaterede begreber

Emne Crawling og indeksering — Sådan læser Google din kode Crawling og indeksering er forudsætningen for at ranke — forstå Googlebot, robots.txt, sitemaps og rendering. Artikel Crawling — Sådan finder og læser Googlebot din side Crawling er Googles opdagelsesproces — Googlebot følger links og downloader sider for at forstå webbet. Artikel Noindex — Sådan holder du sider ude af Googles indeks Noindex holder sider ude af Googles søgeresultater — brugt korrekt er det et effektivt redskab til at styre hvad der indekseres. Artikel Robots directives — Styring af crawling og indeksering Robots directives er signaler der styrer søgemaskinernes adfærd på side-niveau — fra indeksering til snippets og billeder. Artikel XML Sitemap — Hjælp Googlebot finde alle dine sider En XML sitemap er en liste over dine vigtigste sider — og en vejledning til Googlebot om hvad der er vigtigt. Hovedguide Kode — Webkode og teknisk SEO Komplet guide til webkode og teknisk SEO — fra HTML-struktur og metadata til crawling, structured data og Core Web Vitals.

Ofte stillede spørgsmål

Hvad er robots.txt?
Robots.txt er en tekstfil der implementerer Robots Exclusion Protocol — en frivillig standard alle store søgemaskiner respekterer. Filen placeres i roden af domænet (eksempel.dk/robots.txt) og angiver hvilke URL-stier crawlere må og ikke må besøge. Googlebot tjekker robots.txt som det første ved hvert besøg på et site. Et Disallow-direktiv blokerer crawling af en sti, men forhindrer ikke nødvendigvis indeksering hvis Google kender URL'en fra andre kilder.
Hvad er forskellen på robots.txt og noindex?
Robots.txt styrer crawling — hvilke sider Googlebot overhovedet må besøge og downloade. Noindex-direktivet (i meta robots-tagget eller X-Robots-Tag HTTP-header) styrer indeksering — om en side Googlebot allerede har crawlet må medtages i søgeresultater. En side blokeret i robots.txt kan stadig indekseres hvis Google kender URL'en fra backlinks. En side med noindex vil blive fjernet fra indekset selv om den er crawlbar. De er komplementære redskaber med forskellig funktion.
Kan robots.txt ved en fejl blokere hele sitet?
Ja. Den mest katastrofale robots.txt-fejl er User-agent: * fulgt af Disallow: / — det blokerer alle crawlere fra at besøge ethvert sted på sitet. Denne fejl kan ske under staging-konfiguration der utilsigtet kopieres til produktion. Konsekvensen er at sitet forsvinder fra Googles indeks over tid. Tjek altid robots.txt på live-sitet via Google Search Console eller ved at besøge eksempel.dk/robots.txt direkte. Google Search Console advarer om blokeret crawling.
Hvad bør typisk blokeres i robots.txt?
Typiske Disallow-direktiver: CMS admin-interfaces (/wp-admin/, /administrator/), interne søgeresultater (/soeg/, /?s=), session-ID URL'er, filtrerings-parametre der genererer mange URL-varianter, og staging-miljøer. Bloker ikke sider der skal indekseres men ikke ranke — brug noindex til det. Bloker ikke CSS og JavaScript der er nødvendige for at Googlebot kan rendere siden korrekt.
Hvad er syntaksfejl i robots.txt og hvad sker der ved dem?
Syntaksfejl i robots.txt kan medføre at regler ignoreres eller fejlfortolkes. Google-anbefalede format: én User-agent per gruppe, Disallow og Allow på separate linjer, ingen inline-kommentarer efter direktiverne. Test altid via GSC robots.txt-testere inden deployment. Googles robots.txt-parser er relativt tolerant, men præcision er bedre end at stole på fejltolerance.

Placering i ordbogen

Kode — Webkode og teknisk SEO
Crawling og indeksering — Sådan læser Google din kode
Robots.txt — Styring af Googlebots adgang til dit site