Crawl budget — Hvordan Google prioriterer din crawling

Googlebot har ikke ubegrænsede ressourcer. For ethvert site opererer Google med et crawl budget — en implicit grænse for, hvor mange sider Googlebot vil crawle inden for en given periode. For de fleste mindre sites er crawl budget ikke en flaskehals, men for store sites med tusindvis af sider kan det være en kritisk teknisk faktor.

Hvad er crawl budget?

Crawl budget er summen af to faktorer, som Google selv har beskrevet:

Crawl rate limit — hvor hurtigt Googlebot kan crawle dit site uden at overbelaste serveren. Googlebot justerer tempoet baseret på din servers responstid og fejlrate.

Crawl demand — hvor meget Google ønsker at crawle dit site, baseret på popularitet og opdateringsfrekvens. Populære, hyppigt opdaterede sider crawles oftere.

Det effektive crawl budget er balancen mellem disse to faktorer.

Hvad spilder dit crawl budget?

Googlebot bruger crawl budget på alt, den besøger — også sider, der ikke bør indekseres. Typiske årsager til spild:

• Duplicate content — URL-parametre der skaber tusindvis af URL-varianter med identisk indhold
• Facetteret navigation — e-handelssites med kombinationer af filtre der genererer nye URL’er
• Redirect chains — lange omdirigeringskæder forsinker og spilder crawler-kapacitet
• Fejlsider (4xx/5xx) — Googlebot bruger tid på sider der ikke eksisterer
• Thin content-sider — sider uden reelt indhold der alligevel crawles
• Session-ID’er i URL’er — unikt session-ID pr. besøg skaber unikke URL’er

Optimering af crawl budget

Robots.txt: Bloker sektioner der aldrig bør crawles (admin-sider, interne søgninger, URL-parametre).

Canonical tags: Hjælp Google med at forstå hvilken URL der er den primære, så varianter ikke spilder budget.

XML sitemap: En ren sitemap med kun indeksérbare sider hjælper Google med at prioritere de vigtige sider.

HTTP-statuskoder: Ret 404-sider og fjern redirect chains. En 301 er OK; en 301→302→301-kæde er budget-spild.

Intern linkstruktur: Sider med mange interne links crawles hyppigere. Sørg for at vigtige sider er vellinket.

Hvornår er crawl budget en reel udfordring?

For sites med under 1.000 sider er crawl budget sjældent et problem — Google vil crawle dem alle. Det bliver relevant når:

• Sitet har over 10.000 URL’er
• Nyt indhold indekseres langsomt eller ikke i det hele taget
• Google Search Console viser “Discovered — currently not indexed” på mange sider

Crawl budget er et symptom på en dybere teknisk sundhed. Sites med ren URL-struktur, god intern linking og hurtige servere har sjældent crawl budget-problemer.