Robots.txt — Styring af Googlebots adgang til dit site

Alle søgemaskine-crawlere tjekker den samme fil, hver gang de besøger dit site. Den hedder robots.txt, og den sidder altid ét sted: i roden af dit domæne.

Den er lille, men magtfuld. Og forkert konfigureret kan den effektivt blokere hele dit site fra Google.

---

Hvad er robots.txt?

Robots.txt er en tekstfil der implementerer Robots Exclusion Protocol — en frivillig standard, som alle store søgemaskiner respekterer. Filen angiver:

• Hvilke crawlere reglerne gælder for
• Hvilke URL-mønstre der er tilladt eller forbudt at crawle
• Hvor sitemappen er placeret

Filen skal altid placeres på:

https://eksempel.dk/robots.txt

Og kun ét sted — i roden af domænet. En robots.txt på /undermappe/robots.txt har ingen effekt.

---

Grundlæggende syntaks

Robots.txt-filen består af grupper (kaldet records), én gruppe per crawler:

User-agent: *
Disallow: /admin/
Disallow: /intern/
Allow: /admin/public/
Sitemap: https://eksempel.dk/sitemap.xml

User-agent

Angiver hvilken crawler reglen gælder for:

• User-agent: * — alle crawlere
• User-agent: Googlebot — kun Googles crawler
• User-agent: bingbot — kun Bings crawler

Disallow

Blokerer crawling af et URL-mønster. Tomme Disallow (Disallow:) er tilladt for alle:

User-agent: *
Disallow:

Allow

Tillader crawling af et specifikt mønster inden for en ellers blokeret mappe. Allow har højere prioritet end Disallow, når begge matcher en URL.

Sitemap

Reference til din XML sitemap — kan placeres som separat linje, uafhængig af User-agent grupper:

Sitemap: https://eksempel.dk/sitemap.xml
Sitemap: https://eksempel.dk/sitemap-nyheder.xml

---

Typiske use cases

Bloker CMS-admin og backend

User-agent: *
Disallow: /wp-admin/
Disallow: /administrator/
Disallow: /backend/

Bloker interne søgeresultater

User-agent: *
Disallow: /soeg/
Disallow: /?s=

Bloker URL-parametre

User-agent: *
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?session=

Tillad Googlebot specifikt, bloker alle andre

User-agent: *
Disallow: /

User-agent: Googlebot
Disallow:

---

Den kritiske forskel: robots.txt vs noindex

Dette misforstås hyppigt:

Robots.txt blokerer crawling — men forhindrer IKKE indeksering.

En side blokeret i robots.txt kan stadig indekseres af Google, hvis andre sites linker til den. Google ved siden eksisterer fra links — men kan ikke se dens indhold (fordi crawling er blokeret).

Konsekvensen: Siden kan vises i søgeresultater som en tom entry uden titel og beskrivelse.

Brug:

• Robots.txt til sider du ikke vil have crawlet (ressourcebesparelse, fortrolige sider med password)
• Noindex til sider der gerne må crawles men ikke indekseres
• Aldrig begge til samme formål på samme side

---

Robots.txt-tester i Google Search Console

Under “Settings” > “Crawlers” > “Robots.txt” finder du Googles officielle robots.txt-tester. Den viser:

• Hvilke regler der gælder for Googlebot
• Om en specifik URL er blokeret eller tilladt
• Eventuelle syntax-fejl i filen

Test altid kritiske ændringer i robots.txt, inden de går live.

---

Ofte stillede spørgsmål

Hvad sker der, hvis robots.txt-filen ikke eksisterer? Google antager at der ingen begrænsninger er og crawler alt. En manglende robots.txt er ikke en fejl.

Er robots.txt et sikkerhedsredskab? Nej. Robots.txt er en frivillig standard — ondsindede bots ignorerer den. Brug server-authentication til at beskytte fortrolige sider.

Kan robots.txt-regler overtrumfe noindex? Ja — hvis Googlebot blokeres fra at crawle en side, ser den aldrig noindex-direktivet. Se artiklen om noindex for detaljer.

Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog.