Crawling og indeksering — Sådan læser Google din kode

Før din side kan vises i søgeresultaterne, skal den igennem to fundamentale processer: crawling og indeksering. Mange tager det for givet, at Google finder og indekserer deres sider — men i praksis er der mange tekniske forhindringer, der kan blokere eller forsinke processen. At forstå disse processer er kernen i teknisk SEO.

Hvad er crawling?

Crawling er den proces, hvor Googles automatiserede program — Googlebot — systematisk besøger og downloader hjemmesider. Googlebot følger links fra side til side og bygger derved et kort over nettet.

Processen starter med en liste af kendte URLs fra tidligere crawl-operationer og fra sitemaps. Googlebot henter HTML-koden fra disse URLs, parser den for at finde nye links, og tilføjer disse links til crawl-køen.

Googlebot identificerer sig med en specifik user agent string — Googlebot/2.1. Servere kan bruge user agenten til at tilpasse responses til crawlere, selvom Google aktivt advarer imod at servere andet indhold til Googlebot end til almindelige brugere (cloaking).

Google bruger i dag primært en mobilagent — Googlebot Smartphone — til al crawling. Dette er konsekvensen af Google’s mobile-first indexing-strategi: Google vurderer primært din mobilversion.

Crawl budget

Crawl budget er det antal sider, Googlebot er villig til at crawle på dit domæne inden for en bestemt periode. Det er ikke et fast tal — det beregnes dynamisk baseret på sidens størrelse, serverens responsevner og sidens generelle popularitet.

For de fleste mellemstore sider er crawl budget ikke en praktisk begrænsning. Men for store sider — e-commerce med tusindvis af produktvarianter, nyhedssider med mange parametre-URLs, sider med facetteret navigation — kan crawl budget betyde, at vigtige sider crawles sjældnere end ønsket.

Typiske spild af crawl budget:

• URL-parametre der skaber unikke URLs med identisk indhold
• Uendelige scroll- eller pagination-strukturer
• Interne søgesider (bør blokeres i robots.txt)
• Duplikat-URLs (HTTP vs HTTPS, www vs ikke-www)
• Thin content-sider med minimal unik værdi

robots.txt

robots.txt er en tekstfil placeret i roden af dit domæne (f.eks. https://stegger.dk/robots.txt). Den indeholder direktiver til webcrawlere om, hvilke stier de må og ikke må besøge.

User-agent: *
Disallow: /intern-soegning/
Disallow: /admin/

User-agent: Googlebot
Allow: /

Sitemap: https://stegger.dk/sitemap.xml

Vigtige pointer om robots.txt:

robots.txt styrer crawling, ikke indeksering. En side blokeret i robots.txt kan stadig indekseres, hvis Google ser URL’en via et link. For at forhindre indeksering skal du bruge noindex i meta tagget.

Robots.txt er ikke adgangskontrol — ondartede bots ignorerer det frit. Det er et høflighedsprotokol for velmenende crawlere.

Syntaksen er simpel men fejlplagede. En forkert Disallow-linje kan utilsigtet blokere store dele af dit site. Test altid ændringer med Google Search Consoles robots.txt-tester.

XML-sitemaps

Et XML-sitemap er en struktureret liste over de URLs på dit site, du ønsker Googlebot skal kende til og crawle. Det er ikke en erstatning for intern linkstruktur — sider uden interne links indekseres sjældent godt, uanset om de er i sitemaps.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://stegger.dk/ordbog/kode/</loc>
    <lastmod>2026-03-12</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

XML-sitemaps kan indsendes via Google Search Console, og de bør angives i robots.txt som vist ovenfor.

Hvad bør inkluderes i sitemaps?

• Alle kanoniske sider med unikt, værdifuldt indhold
• Sider med indekserings-direktiv (index)

Hvad bør ikke inkluderes?

• Sider med noindex
• Redirects (301, 302)
• Sider med canonical der peger andetsteds
• Fejlsider (404, 410)
• Dubbelt indhold-URLs

Hvad er indeksering?

Indeksering er den proces, hvor Googlebot analyserer en crawlet side og gemmer dens indhold i Googles database — indekset. Indekset er den enorme database, Google søger i, når nogen foretager en søgning.

For at en side kan indekseres:

1. Skal den kunne crawles (ikke blokeret i robots.txt)
2. Skal den returnere statuskode 200
3. Skal den ikke have et noindex direktiv
4. Skal den have indhold, Google kan parse og forstå
5. Skal den gerne have interne links fra allerede indekserede sider

At en side er indekseret garanterer ikke, at den vises for søgninger — det afhænger af relevans og ranking. Men indeksering er forudsætningen.

Rendering og indeksering

Rendering er det trin, der sker mellem crawling og indeksering for JavaScript-baserede sider. Googlebot henter HTML-koden, men JavaScript kodes ikke i HTML — det kræver en rendering-motor, der udfører JavaScript-koden for at generere det endelige DOM (Document Object Model).

Google bruger en rendering queue (kø). Sider der kræver JavaScript-rendering placeres i denne kø og renderes, når ressourcerne er til rådighed. Dette kan tage sekunder eller dage efter crawling.

Konsekvensen: kritisk indhold, der kun eksisterer i JavaScript-renderet form, risikerer forsinket eller manglende indeksering. Denne forsinkelse kan betyde, at nye sider eller opdateringer tager markant længere om at vises i søgeresultaterne.

Løsninger på rendering-problemer:

• Server-side rendering (SSR): HTML genereres på serveren og leveres komplet til Googlebot
• Pre-rendering: JavaScript-sider pre-renderes til statisk HTML på byggetidspunktet
• Progressive enhancement: Kritisk indhold i HTML, JavaScript forbedrer oplevelsen

Indekserings-coverage i Search Console

Google Search Console giver indsigt i crawling og indeksering via Coverage-rapporten (nu kaldet “Indexing” rapporten). Her ser du:

• Indekserede sider — sider Google har i sit indeks
• Ikke indekserede sider — og årsagen (crawlet men ikke valgt, crawl-fejl, noindex etc.)
• Crawl-fejl — 404-fejl, 5xx server-fejl, timeout

Regelmæssig gennemgang af denne rapport er en grundlæggende praksis i teknisk SEO. Pludselige fald i indekserede sider er ofte symptom på en teknisk fejl: et utilsigtet noindex, en ændret robots.txt eller en redirect-fejl.

Crawling vs indeksering vs rangering

De tre begreber forveksles ofte:

• Crawling: Google besøger og downloader din sides kode
• Indeksering: Google analyserer og gemmer siden i databasen
• Rangering: Google placerer siden i søgeresultaterne for relevante søgninger

En side kan crawles uden at indekseres (noindex, tyndt indhold). En side kan indekseres uden at ranke godt (manglende relevans, dårlig sigtekvalitet). Alle tre trin skal fungere for at opnå synlighed i søgeresultaterne.

Relaterede artikler

• Kode og teknisk SEO — den komplette guide
• Metadata og tekniske signaler
• JavaScript og rendering
• Server og HTTP-responser

---

Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog.