Emne

Crawling og indeksering — Sådan læser Google din kode

Crawling og indeksering er forudsætningen for at ranke — forstå Googlebot, robots.txt, sitemaps og rendering.

Sidst opdateret:

Før din side kan vises i søgeresultaterne, skal den igennem to fundamentale processer: crawling og indeksering. Mange tager det for givet, at Google finder og indekserer deres sider — men i praksis er der mange tekniske forhindringer, der kan blokere eller forsinke processen. At forstå disse processer er kernen i teknisk SEO.

Hvad er crawling?

Crawling er den proces, hvor Googles automatiserede program — Googlebot — systematisk besøger og downloader hjemmesider. Googlebot følger links fra side til side og bygger derved et kort over nettet.

Processen starter med en liste af kendte URLs fra tidligere crawl-operationer og fra sitemaps. Googlebot henter HTML-koden fra disse URLs, parser den for at finde nye links, og tilføjer disse links til crawl-køen.

Googlebot identificerer sig med en specifik user agent string — Googlebot/2.1. Servere kan bruge user agenten til at tilpasse responses til crawlere, selvom Google aktivt advarer imod at servere andet indhold til Googlebot end til almindelige brugere (cloaking).

Google bruger i dag primært en mobilagent — Googlebot Smartphone — til al crawling. Dette er konsekvensen af Google’s mobile-first indexing-strategi: Google vurderer primært din mobilversion.

Crawl budget

Crawl budget er det antal sider, Googlebot er villig til at crawle på dit domæne inden for en bestemt periode. Det er ikke et fast tal — det beregnes dynamisk baseret på sidens størrelse, serverens responsevner og sidens generelle popularitet.

For de fleste mellemstore sider er crawl budget ikke en praktisk begrænsning. Men for store sider — e-commerce med tusindvis af produktvarianter, nyhedssider med mange parametre-URLs, sider med facetteret navigation — kan crawl budget betyde, at vigtige sider crawles sjældnere end ønsket.

Typiske spild af crawl budget:

  • URL-parametre der skaber unikke URLs med identisk indhold
  • Uendelige scroll- eller pagination-strukturer
  • Interne søgesider (bør blokeres i robots.txt)
  • Duplikat-URLs (HTTP vs HTTPS, www vs ikke-www)
  • Thin content-sider med minimal unik værdi

robots.txt

robots.txt er en tekstfil placeret i roden af dit domæne (f.eks. https://stegger.dk/robots.txt). Den indeholder direktiver til webcrawlere om, hvilke stier de må og ikke må besøge.

User-agent: *
Disallow: /intern-soegning/
Disallow: /admin/

User-agent: Googlebot
Allow: /

Sitemap: https://stegger.dk/sitemap.xml

Crawling, ikke indeksering

robots.txt styrer crawling, ikke indeksering. En side blokeret i robots.txt kan stadig indekseres, hvis Google ser URL’en via et link. For at forhindre indeksering skal du bruge noindex i meta tagget.

Ikke adgangskontrol

Robots.txt er ikke adgangskontrol — ondartede bots ignorerer det frit. Det er et høflighedsprotokol for velmenende crawlere.

Test altid inden publicering

Syntaksen er simpel men fejlplagede. En forkert Disallow-linje kan utilsigtet blokere store dele af dit site. Test altid ændringer med Google Search Consoles robots.txt-tester.

XML-sitemaps

Et XML-sitemap er en struktureret liste over de URLs på dit site, du ønsker Googlebot skal kende til og crawle. Det er ikke en erstatning for intern linkstruktur — sider uden interne links indekseres sjældent godt, uanset om de er i sitemaps.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://stegger.dk/ordbog/kode/</loc>
    <lastmod>2026-03-12</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

XML-sitemaps kan indsendes via Google Search Console, og de bør angives i robots.txt som vist ovenfor.

Hvad bør inkluderes i sitemaps?

  • Alle kanoniske sider med unikt, værdifuldt indhold
  • Sider med indekserings-direktiv (index)

Hvad bør ikke inkluderes?

  • Sider med noindex
  • Redirects (301, 302)
  • Sider med canonical der peger andetsteds
  • Fejlsider (404, 410)
  • Dubbelt indhold-URLs

Hvad er indeksering?

Indeksering er den proces, hvor Googlebot analyserer en crawlet side og gemmer dens indhold i Googles database — indekset. Indekset er den enorme database, Google søger i, når nogen foretager en søgning.

For at en side kan indekseres:

  1. Skal den kunne crawles (ikke blokeret i robots.txt)
  2. Skal den returnere statuskode 200
  3. Skal den ikke have et noindex direktiv
  4. Skal den have indhold, Google kan parse og forstå
  5. Skal den gerne have interne links fra allerede indekserede sider

At en side er indekseret garanterer ikke, at den vises for søgninger — det afhænger af relevans og ranking. Men indeksering er forudsætningen.

Rendering og indeksering

Rendering er det trin, der sker mellem crawling og indeksering for JavaScript-baserede sider. Googlebot henter HTML-koden, men JavaScript kodes ikke i HTML — det kræver en rendering-motor, der udfører JavaScript-koden for at generere det endelige DOM (Document Object Model).

Google bruger en rendering queue (kø). Sider der kræver JavaScript-rendering placeres i denne kø og renderes, når ressourcerne er til rådighed. Dette kan tage sekunder eller dage efter crawling.

Konsekvensen: kritisk indhold, der kun eksisterer i JavaScript-renderet form, risikerer forsinket eller manglende indeksering. Denne forsinkelse kan betyde, at nye sider eller opdateringer tager markant længere om at vises i søgeresultaterne.

Løsninger på rendering-problemer:

  • Server-side rendering (SSR): HTML genereres på serveren og leveres komplet til Googlebot
  • Pre-rendering: JavaScript-sider pre-renderes til statisk HTML på byggetidspunktet
  • Progressive enhancement: Kritisk indhold i HTML, JavaScript forbedrer oplevelsen

Indekserings-coverage i Search Console

Google Search Console giver indsigt i crawling og indeksering via Coverage-rapporten (nu kaldet “Indexing” rapporten). Her ser du:

  • Indekserede sider — sider Google har i sit indeks
  • Ikke indekserede sider — og årsagen (crawlet men ikke valgt, crawl-fejl, noindex etc.)
  • Crawl-fejl — 404-fejl, 5xx server-fejl, timeout

Regelmæssig gennemgang af denne rapport er en grundlæggende praksis i teknisk SEO. Pludselige fald i indekserede sider er ofte symptom på en teknisk fejl: et utilsigtet noindex, en ændret robots.txt eller en redirect-fejl.

Crawling vs indeksering vs rangering

De tre begreber forveksles ofte:

  • Crawling: Google besøger og downloader din sides kode
  • Indeksering: Google analyserer og gemmer siden i databasen
  • Rangering: Google placerer siden i søgeresultaterne for relevante søgninger

En side kan crawles uden at indekseres (noindex, tyndt indhold). En side kan indekseres uden at ranke godt (manglende relevans, dårlig sigtekvalitet). Alle tre trin skal fungere for at opnå synlighed i søgeresultaterne.

Relaterede artikler

Artikler i dette emne

Sidst opdateret: marts 2026. Denne artikel er en del af Stegger.dk’s SEO-ordbog.

Del af: Kode — Webkode og teknisk SEO →

Artikler i dette emne

Relaterede begreber

Hovedguide Kode — Webkode og teknisk SEO Komplet guide til webkode og teknisk SEO — fra HTML-struktur og metadata til crawling, structured data og Core Web Vitals. Artikel Crawling — Sådan finder og læser Googlebot din side Crawling er Googles opdagelsesproces — Googlebot følger links og downloader sider for at forstå webbet. Artikel Indeksering — Fra crawlet side til Google-søgeresultat Indeksering er Googles beslutning om en side er værd at vise — crawling er en forudsætning, men indeksering er ikke garanteret. Artikel Robots.txt — Styring af Googlebots adgang til dit site Robots.txt er det første Googlebot tjekker — filen angiver hvilke dele af sitet crawleren må besøge. Artikel XML Sitemap — Hjælp Googlebot finde alle dine sider En XML sitemap er en liste over dine vigtigste sider — og en vejledning til Googlebot om hvad der er vigtigt. Emne JavaScript og rendering — Scripts, DOM og CSR vs SSR JavaScript er SEOs største rendering-udfordring — forstå CSR vs SSR, DOM, lazy loading og hvad Googlebot faktisk ser. Emne Metadata og tekniske signaler — Meta tags, canonical og hreflang Metadata er kode der taler direkte til søgemaskiner og sociale platforme — meta tags, canonical, hreflang og robots directives. Artikel Crawl budget — Hvordan Google prioriterer din crawling Crawl budget er den mængde crawling Googlebot bruger på dit site — forstå hvad der spilder det og hvordan du optimerer.

Ofte stillede spørgsmål

Hvad er robots.txt?
robots.txt er en tekstfil på dit domæne (yourdomain.com/robots.txt) der instruerer søgemaskinecrawlere om hvilke stier de må — og ikke må — crawle. Det styrer crawling, ikke indeksering. En side blokeret i robots.txt kan stadig indekseres via links. For at forhindre indeksering kræves noindex meta tag.
Hvad er crawl budget?
Crawl budget er antallet af sider Googlebot crawler på dit site per dag. For store sites med tusindvis af sider er det en reel begrænsning — vigtige sider kan vente dage på at blive crawlet. robots.txt, XML-sitemaps og god intern linking hjælper med at prioritere de vigtigste sider.
Hvad er forskellen på crawling, indeksering og rangering?
Crawling: Google besøger og downloader din sides kode. Indeksering: Google analyserer og gemmer siden i databasen. Rangering: Google placerer siden i søgeresultaterne for relevante søgninger. En side kan crawles uden at indekseres (noindex), og indekseres uden at ranke godt (manglende relevans).
Hvad er mobile-first indexing?
Mobile-first indexing betyder at Google bruger mobil-versionen af en side som primær version ved indeksering og rangering. Har din side markant forskelligt indhold på mobil vs. desktop — eller mangler en mobilvenlig version — kan vigtige elementer mangle fra indekset. Tjek Google Search Console under 'Indexing' for at verificere.
Hvad er et XML-sitemap, og behøver jeg ét?
Et XML-sitemap er en fil der lister dine vigtigste URLs og signalerer til Google hvad der skal prioriteres i crawlingen. Det er ikke et krav, men for større sites og nye domæner giver det Googlebot et direkte vejkort. Indsend sitemappet i Google Search Console og hold det opdateret ved URL-ændringer.

Placering i ordbogen

Kode — Webkode og teknisk SEO
Crawling og indeksering — Sådan læser Google din kode