Crawling — Sådan finder og læser Googlebot din side
Crawling er Googles opdagelsesproces — Googlebot følger links og downloader sider for at forstå webbet.
Før Google kan ranke din side, skal den finde den. Og før den kan finde den, skal den crawle den.
Crawling er trin ét i Googles tre-fasede proces: crawl → render → indekser. Alt starter her.
Hvad er crawling?
Crawling er den automatiserede proces, hvor Googlebots software-crawler besøger websider, downloader deres HTML og analyserer indholdet for at opdage nye sider og opdateringer.
Googlebot er ikke én bot — det er et distribueret system med tusindvis af samtidige crawling-processer, der tilsammen processerer milliarder af sider dagligt.
Processen er simpel i princippet:
- Googlebot starter fra kendte URLs (seeds)
- Downloader HTML for hver URL
- Parser HTML og finder alle links
- Tilføjer nye, ukendte URLs til crawl-køen
- Gentager processen
Crawl budget
Crawl budget er det antal sider Google er villig til at crawle på dit site inden for en given tidsperiode.
Det bestemmes af to faktorer:
Crawl rate limit
Googles selvpålagte grænse for ikke at overbelaste din server. Google crawler ikke hurtigere, end serveren kan håndtere. Kan justeres i Google Search Console.
Crawl demand
Googles estimat af, hvor vigtigt dit site er — baseret på popularitet, linkprofil og opdateringsfrekvens. Jo mere populært og opdateret sitet er, jo mere crawl demand.
Crawl budget er typisk kun et problem for:
- Meget store sites (100.000+ sider)
- Sites med mange duplicate eller tynde sider der “spiser” crawl budget
- Sites med komplekse URL-strukturer der genererer uendelige variationer
For de fleste sites er crawl budget ikke en praktisk begrænsning.
Hvad påvirker crawl-prioritering?
Googlebot prioriterer ikke alle sider ens. Faktorer der øger crawl-prioritet:
- Pagerank og intern linking — sider med mange interne links crawles hyppigere
- Opdateringsfrekvens — sider der opdateres ofte crawles hyppigere
- Sitemap-inkludering — sider i XML sitemap signalerer vigtighed
- Eksternt link equity — sider med mange backlinks opdages og crawles hurtigere
Hvad forhindrer crawling?
Robots.txt disallow
Den mest direkte blokering. Se robots.txt.
Ingen links til siden
Googlebot opdager sider ved at følge links. En side uden interne eller eksterne links — en “orphan page” — vil aldrig opdages naturligt.
Soft server errors (5xx)
Serverproblemer, timeout og langsom svartid reducerer crawl-raten og kan føre til at sider springes over.
Redirect chains og loops
Lange redirect-kæder (A → B → C → D) spilder crawl budget. Redirect loops (A → B → A) forhindrer crawling fuldstændigt.
Nofollow på interne links
Sider der kun er tilgængelige via nofollow-links, opdages sværere.
Googlebot og JavaScript
Standard-crawling henter kun den rå HTML. JavaScript-indhold kræver en separat rendering-fase — se rendering og SEO.
Dette betyder, at sider bygget udelukkende med JavaScript (Single Page Applications) ikke nødvendigvis crawles korrekt i første omgang.
Overvågning af crawling
Google Search Console — Crawl stats Under Settings > Crawl stats vises daglig crawl-aktivitet: antal crawlede sider, responstid, HTTP-statuskoder. Afvigelser herfra er tidlige advarselssignaler om crawl-problemer.
Log-fil analyse Serverlogfiler registrerer hvert Googlebot-besøg med tidsstempel, URL og HTTP-statuskode. Mere detaljeret end GSC, men kræver teknisk adgang til serveren.
Ofte stillede spørgsmål
Kan jeg accelerere, hvor hurtigt Google crawler mit site? Delvist. Du kan indsende sitemaps og anmode om crawling via URL Inspection Tool i GSC. Men den overordnede crawl-rate bestemmer Google selv.
Crawles alle mine sider, hvis de er i sitemappen? Nej. En sitemap er en anbefaling, ikke en garanti. Google beslutter selv om og hvornår sider crawles baseret på crawl budget og prioritering.
Hvordan ved jeg, om Googlebot har crawlet en specifik side? URL Inspection Tool i Google Search Console viser dato og tid for seneste crawl samt hvad Google faktisk så.
Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog.