Artikel

Crawling — Sådan finder og læser Googlebot din side

Crawling er Googles opdagelsesproces — Googlebot følger links og downloader sider for at forstå webbet.

Sidst opdateret:

Crawling er den automatiserede proces hvor Googlebots software-crawler besøger websider, downloader HTML-kildekoden og analyserer indholdet for at opdage nye sider og opdateringer. Uden crawling kan en side ikke indekseres og ranke i søgeresultater. Crawling er trin ét i Googles tre-fasede proces — crawl, render og indeksering — og alt i teknisk SEO starter her. Forstår du crawling, forstår du hvad der kan blokere Googles adgang til dit indhold.

Hvad er crawling?

Crawling er den automatiserede proces, hvor Googlebots software-crawler besøger websider, downloader deres HTML og analyserer indholdet for at opdage nye sider og opdateringer.

Googlebot er ikke én bot — det er et distribueret system med tusindvis af samtidige crawling-processer, der tilsammen processerer milliarder af sider dagligt.

Processen er simpel i princippet:

  1. Googlebot starter fra kendte URLs (seeds)
  2. Downloader HTML for hver URL
  3. Parser HTML og finder alle links
  4. Tilføjer nye, ukendte URLs til crawl-køen
  5. Gentager processen

Crawl budget

Crawl budget er det antal sider Google er villig til at crawle på dit site inden for en given tidsperiode.

Det bestemmes af to faktorer:

Crawl rate limit

Googles selvpålagte grænse for ikke at overbelaste din server. Google crawler ikke hurtigere, end serveren kan håndtere. Kan justeres i Google Search Console.

Crawl demand

Googles estimat af, hvor vigtigt dit site er — baseret på popularitet, linkprofil og opdateringsfrekvens. Jo mere populært og opdateret sitet er, jo mere crawl demand.

Crawl budget er typisk kun et problem for meget store sites (100.000+ sider), sites med mange duplicate eller tynde sider der “spiser” crawl budget, og sites med komplekse URL-strukturer der genererer uendelige variationer. For de fleste sites er crawl budget ikke en praktisk begrænsning.

Hvad påvirker crawl-prioritering?

Googlebot prioriterer ikke alle sider ens. Faktorer der øger crawl-prioritet:

  • Pagerank og intern linking — sider med mange interne links crawles hyppigere
  • Opdateringsfrekvens — sider der opdateres ofte crawles hyppigere
  • Sitemap-inkludering — sider i XML sitemap signalerer vigtighed
  • Eksternt link equity — sider med mange backlinks opdages og crawles hurtigere

Hvad forhindrer crawling?

Robots.txt disallow

Den mest direkte blokering. Se robots.txt.

Googlebot opdager sider ved at følge links. En side uden interne eller eksterne links — en “orphan page” — vil aldrig opdages naturligt.

Soft server errors (5xx)

Serverproblemer, timeout og langsom svartid reducerer crawl-raten og kan føre til at sider springes over.

Redirect chains og loops

Lange redirect-kæder (A → B → C → D) spilder crawl budget. Redirect loops (A → B → A) forhindrer crawling fuldstændigt.

Sider der kun er tilgængelige via nofollow-links, opdages sværere.

Googlebot og JavaScript

Standard-crawling henter kun den rå HTML. JavaScript-indhold kræver en separat rendering-fase — se rendering og SEO.

Dette betyder, at sider bygget udelukkende med JavaScript (Single Page Applications) ikke nødvendigvis crawles korrekt i første omgang.

Overvågning af crawling

Google Search Console — Crawl stats

Under Settings > Crawl stats vises daglig crawl-aktivitet: antal crawlede sider, responstid, HTTP-statuskoder. Afvigelser herfra er tidlige advarselssignaler om crawl-problemer.

Log-fil analyse

Serverlogfiler registrerer hvert Googlebot-besøg med tidsstempel, URL og HTTP-statuskode. Mere detaljeret end GSC, men kræver teknisk adgang til serveren.

Ofte stillede spørgsmål

Kan jeg accelerere, hvor hurtigt Google crawler mit site?

Delvist. Du kan indsende sitemaps og anmode om crawling via URL Inspection Tool i GSC. Men den overordnede crawl-rate bestemmer Google selv.

Crawles alle mine sider, hvis de er i sitemappen?

Nej. En sitemap er en anbefaling, ikke en garanti. Google beslutter selv om og hvornår sider crawles baseret på crawl budget og prioritering.

Hvordan ved jeg, om Googlebot har crawlet en specifik side?

URL Inspection Tool i Google Search Console viser dato og tid for seneste crawl samt hvad Google faktisk så.

Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog. → Denne artikel er en del af Crawling og indeksering — Sådan læser Google din kode.

Del af: Crawling og indeksering — Sådan læser Google din kode →

Andre artikler i samme emne

Relaterede begreber

Emne Crawling og indeksering — Sådan læser Google din kode Crawling og indeksering er forudsætningen for at ranke — forstå Googlebot, robots.txt, sitemaps og rendering. Artikel Indeksering — Fra crawlet side til Google-søgeresultat Indeksering er Googles beslutning om en side er værd at vise — crawling er en forudsætning, men indeksering er ikke garanteret. Artikel Robots.txt — Styring af Googlebots adgang til dit site Robots.txt er det første Googlebot tjekker — filen angiver hvilke dele af sitet crawleren må besøge. Artikel Rendering — Hvad Googlebot ser efter JavaScript-rendering Rendering er Googles oversættelse af kode til indhold — JavaScript-rendering sker i en separat kø og kan forsinke indeksering med dage. Artikel XML Sitemap — Hjælp Googlebot finde alle dine sider En XML sitemap er en liste over dine vigtigste sider — og en vejledning til Googlebot om hvad der er vigtigt. Hovedguide Kode — Webkode og teknisk SEO Komplet guide til webkode og teknisk SEO — fra HTML-struktur og metadata til crawling, structured data og Core Web Vitals.

Ofte stillede spørgsmål

Hvad er crawling?
Crawling er den automatiserede proces hvor Googles crawler — Googlebot — systematisk gennemgår websites ved at følge links fra side til side og downloade HTML-kildekoden. Googlebot starter med kendte URLs fra tidligere crawls, sitemaps og links fra andre sider, og opdager løbende nye URLs ved at følge links den finder på hver side. Crawling er forudsætningen for indeksering — en side der ikke crawles, kan ikke indekseres og vises ikke i søgeresultater.
Hvad er Googlebots crawling-frekvens og hvad bestemmer den?
Googlebots crawling-frekvens for en side bestemmes af flere faktorer: sidens popularitet og antallet af backlinks (populære sider crawles hyppigere), opdateringsfrekvens og freshness (sider der ændres hyppigt crawles hyppigere), sitets samlede autoritet og crawl budget, og serverens svartid (langsom server reducerer crawling). En nyoprettet side med få backlinks crawles sjældnere end en etableret side med mange links. Hyppige ændringer signalerer til Googlebot at siden bør revisiteres.
Hvad forhindrer Googlebot i at crawle en side?
Googlebot forhindres i at crawle en side af: Disallow-direktivet i robots.txt (blokerer crawling af specifikke stier), serverfejl som 500 Internal Server Error (Googlebot stopper og vender ikke straks tilbage), meget langsom serverrespons (Googlebot sænker crawl-frekvensen), og login-beskyttede sider (Googlebot kan ikke autentificere sig). Noindex-direktivet forhindrer ikke crawling men styrer indeksering. For at verificere hvad der blokerer crawling er Google Search Console's Coverage-rapport og URL Inspection Tool de primære redskaber.
Hvad er forskellen på Googlebot Desktop og Googlebot Smartphone?
Google har to primære crawlere: Googlebot Desktop der simulerer en desktop-browser, og Googlebot Smartphone der simulerer en mobilenhed. Siden Google implementerede mobile-first indexing, er Googlebot Smartphone den primære crawler der bestemmer ranking og indeksering. Det er afgørende at mobilversionen af sitet har det samme indhold som desktopversionen — indhold kun tilgængeligt på desktop indekseres ikke primært.
Hvad er URL Inspection Tool og hvad kan det vise om crawling?
URL Inspection Tool i Google Search Console viser dato og tidspunkt for seneste crawl af en specifik URL, den user-agent der blev brugt, den renderede HTML Googlebot så, og om siden er indekseret eller ej. Det er det primære diagnostiske redskab til at tjekke om Googlebot har besøgt en side og hvad den faktisk så ved besøget — inklusiv JavaScript-renderet indhold.

Placering i ordbogen

Kode — Webkode og teknisk SEO
Crawling og indeksering — Sådan læser Google din kode
Crawling — Sådan finder og læser Googlebot din side