Artikel

Log-fil analyse — Forstå Googlebots crawl-adfærd

Server-logs registrerer hvert request fra Googlebot. Log-analyse viser præcist hvad der crawles, hvad der ikke crawles, og hvad der returnerer fejlkoder.

Sidst opdateret:

Server-logs er den mest præcise kilde til teknisk SEO-indsigt du har adgang til. Hvor Google Search Console viser hvad Google har valgt at vise dig, viser log-filer hvad der faktisk skete på serverniveau — hvert request, hver statuskode, hvert tidspunkt.

Hvad log-filer viser

En typisk log-entry ser sådan ud:

66.249.72.42 - - [20/Mar/2026:08:14:32 +0100] "GET /ordbog/crawling/ HTTP/1.1" 200 4823 "-" "Googlebot/2.1"

Her er IP-adressen (66.249.x.x er Googles range), URL’en, statuskoden (200 OK) og user-agenten (Googlebot). Filtrer din log på Googles IP-ranges og Googlebots user-agent, og du har et komplet billede af Googles crawl-aktivitet.

Hvad du skal kigge efter

Crawl-fordeling: Hvilke dele af sitet bruger Googlebot mest tid på? Et site der bruger 80% af crawl budget på faceted navigation-URL’er og kun 20% på kerneindholds-sider har et crawl budget-problem der er svært at se i GSC.

Statuskoder: Hvilke URL’er returnerer 404? 500? 301-kæder? Log-filer viser alle statuskoder — inklusiv dem der rammes af robots eller afvises tidligt i request-processen.

Crawl-frekvens: Googlebot crawler ikke alle sider med samme frekvens. Nyligt opdateret indhold crawles hyppigere. Sider med stærke interne links crawles hyppigere. Log-analyse viser præcist mønsteret.

Bot-forurening: Log-filer viser alle crawlere — ikke kun Googlebot. SEMrush Bot, Ahrefs Bot, MJ12bot. Mange sider bruger unødigt server-kapacitet på at serve disse bots. Log-analyse giver grundlaget for at blokere uønskede crawlere i robots.txt.

Praktisk analyse

De fleste log-filer er store — et mellemstort site med 10.000 sider kan have millioner af log-entries per måned. Det kræver et værktøj: Screaming Frog Log File Analyser, Botify, Semrush Log File Analyser eller simpel kommandolinje-behandling med grep, awk og sort.

Minimumsanalysen: filtrer på Googlebot, tæl requests per URL-segment, identificer de 50 URL’er der crawles oftest — og sammenlign med dine vigtigste indholdssider. Matches der? Hvis Googlebot bruger mest tid på URL-parametre og søgesider, er det et problem.

Kombiner med GSC

Log-fil analyse bruges bedst i kombination med GSC-data. Sammenlign: hvilke sider crawler Googlebot (log) vs. hvilke sider er indekseret (GSC Index Coverage) vs. hvilke sider ranker (GSC Performance). Gaps i disse tre datasæt identificerer præcist hvor crawling, indeksering og ranking bryder ned. → Denne artikel er en del af Crawling og indeksering — Sådan læser Google din kode.

Del af: Crawling og indeksering — Sådan læser Google din kode →

Andre artikler i samme emne

Relaterede begreber

Emne Crawling og indeksering — Sådan læser Google din kode Crawling og indeksering er forudsætningen for at ranke — forstå Googlebot, robots.txt, sitemaps og rendering. Artikel Crawl budget — Hvordan Google prioriterer din crawling Crawl budget er den mængde crawling Googlebot bruger på dit site — forstå hvad der spilder det og hvordan du optimerer. Artikel Crawling — Sådan finder og læser Googlebot din side Crawling er Googles opdagelsesproces — Googlebot følger links og downloader sider for at forstå webbet. Artikel Crawl-fejl — 404, 5xx og andre crawling-problemer Crawl-fejl er sider Googlebot ikke kan tilgå korrekt. 404-fejl er hyppigst og oftest ufarlige — men 5xx-fejl og redirect-loops er reelle tekniske problemer der bør fixes. Artikel Robots.txt — Styring af Googlebots adgang til dit site Robots.txt er det første Googlebot tjekker — filen angiver hvilke dele af sitet crawleren må besøge. Artikel Indeksering — Fra crawlet side til Google-søgeresultat Indeksering er Googles beslutning om en side er værd at vise — crawling er en forudsætning, men indeksering er ikke garanteret.

Ofte stillede spørgsmål

Hvad er forskellen på log-fil analyse og Google Search Console?
GSC viser Googles perspektiv på hvad der er indekseret og ranker. Log-fil analyse viser serverens perspektiv: præcist hvad Googlebot requestede, hvornår, og hvad serveren svarede. Log-analyse fanger crawl-aktivitet GSC ikke rapporterer — including robots.txt-blokerede sider, JavaScript-assets og tredjeparts-crawlere.
Hvilke log-fil-formater er relevante?
Apache access log og Nginx access log er de mest udbredte. Begge registrerer: IP-adresse, tidspunkt, HTTP-metode, request-URL, statuskode og user-agent. Filtrer på Googlebots user-agent (Googlebot/2.1) og Googles IP-ranges for at isolere Googles crawl-aktivitet.
Hvad er crawl budget-spild og hvordan identificeres det i logs?
Crawl budget-spild er når Googlebot bruger en uforholdsmæssig stor del af crawl budget på URL'er der ikke bidrager til SEO — parameteriserede URL'er, session IDs, faceted navigation, duplicate content og fejlsider. I log-fil analyse identificeres spild ved at gruppere crawler-requests per URL-mønster og sammenligne med hvilke sider der faktisk ranker og konverterer. URL'er der crawles hyppigt men aldrig indekseres er typisk spild der bør håndteres med robots.txt, noindex eller canonical-tags.
Hvordan verificerer jeg at Googlebot er ægte og ikke en bot der udgiver sig for at være Google?
Godont Googlebot-verificering kræver reverse DNS lookup: slå IP-adressens hostname op, og bekræft at hostname'et ender på .googlebot.com eller .google.com. Udfør derefter et forward DNS lookup på hostname'et og bekræft at det matcher original-IP'en. Denne dobbelte verifikation er den eneste pålidelige metode — user-agent-strengen kan forfalskes af enhver. Googles officielle IP-ranges kan også verificeres via Googles offentliggjorte crawler IP-lister.
Hvad er forskellen på Googlebot Desktop og Googlebot Smartphone i logs?
Googlebot Smartphone er den primære crawler siden mobile-first indexing — den crawles sider med en mobiltelefons user-agent og er ansvarlig for indeksering og rangering. Googlebot Desktop forekommer stadig men i reduceret omfang. I log-fil analyse bør du filtrere på begge men prioritere Smartphone-crawling data da det er den der afspejler hvad der indekseres. Stor diskrepans mellem Desktop og Smartphone crawl-volumen på samme sider kan indikere problemer med mobilversionen.

Placering i ordbogen

Kode — Webkode og teknisk SEO
Crawling og indeksering — Sådan læser Google din kode
Log-fil analyse — Forstå Googlebots crawl-adfærd