Søgemaskiner før Google — AltaVista, Lycos og de tidlige pionerer

Inden Google eksisterede fandtes der en hel generation af søgemaskiner som de fleste i dag har glemt. Jeg brugte dem alle — og de lærte mig mere om hvad god søgning ikke er, end hvad det er. Historien om disse pionerer er uadskillelig fra historien om, hvorfor Google vandt.

Pionererne: de første web-crawlere

WebCrawler (1994) var den første søgemaskine der indekserede indholdet af websider frem for blot titler og URLs. Brian Pinkerton byggede den som et universitet-projekt ved University of Washington. I april 1994 — websøgningens dag ét — kunne man for første gang søge i selve teksten på en webside. WebCrawler blev opkøbt af AOL i 1995.

Lycos (1994) kom fra Carnegie Mellon University og voksede hurtigt til én af de mest brugte søgemaskiner i midten af 1990’erne. Lycos havde et massivt indeks og var teknisk imponerende — men som mange af sine samtidige forsøgte det at blive en portal frem for at forblive en rendyrket søgemaskine.

Infoseek (1994) og Excite (1995) fulgte samme mønster: stærke søgeteknologier der gradvist druknede i portaltænkning. Excite var særlig ambitiøst — virksomheden forsøgte endda at opkøbe Google i 1999 for 750.000 dollars. Googles grundlæggere sagde nej.

AltaVista (1995) fra Digital Equipment Corporation var søgemaskinernes ubestridte konge i anden halvdel af 1990’erne. Det var hurtigere, mere komplet og mere teknisk avanceret end alt andet på markedet. AltaVista understøttede boolsk søgning, phrase matching, og et indeks der for sin tid var kolossalt. Mange af de features vi tager for givet i søgning i dag stammer fra AltaVista.

HotBot (1996) fra Wired Magazine satsede på speed og et frisk design — og var i en periode det foretrukne alternativ til AltaVista for teknisk kyndige brugere.

Det fundamentale problem: keyword-baseret ranking

Alle disse søgemaskiner delte det samme grundlæggende problem: de rangerede primært baseret på keywords på siden. Jo flere gange et søgeord optrådte i en tekst, desto mere relevant vurderede algoritmen siden for det søgeord.

Konsekvensen var forudsigelig. Webmasters opdagede hurtigt at man kunne manipulere resultaterne ved at gentage søgeord hundredvis af gange — i synlig tekst, i metadata, i alt text, eller som hvid tekst på hvid baggrund. Keyword stuffing opstod ikke som en obskur SEO-taktik — det var den logiske respons på en algoritme der belønnte kvantitet over kvalitet.

I 1998 var søgeresultaterne hos de fleste pre-Google søgemaskiner blevet så forurenede af spam at de ofte var ubrugelige for komplekse forespørgsler. Brugere lærte at formulere meget specifikke søgninger — eller at stole på menneskecurerede directories i stedet.

Portaliseringen: søgningens største strategiske fejl

Den måske vigtigste grund til at pre-Google søgemaskiner tabte var ikke teknologisk — det var strategisk. En efter en opgav de fokus på søgning og forsøgte at blive “portaler”: one-stop-shops med e-mail, nyheder, vejret, sports-scores, chatrooms og alt muligt andet.

Yahoo gik denne vej. Excite gik denne vej. Lycos gik denne vej. Selv AltaVista forsøgte det, efter at virksomheden blev skilt ud fra DEC og børsnoteret.

Logikken var kommerciel og forståelig: portaler genererede pageviews, pageviews solgte reklamer, reklamer genererede indtjening. Men konsekvensen var at søgekvaliteten led. Ressourcer gik til portal-features frem for søgealgoritmer. Designet blev rodet. Fokus forsvandt.

Da Google dukkede op med en hvid baggrund, ét søgefelt og resultater der faktisk var relevante, var kontrasten brutal.

Hvad disse fejltagelser lærte os

Historien om pre-Google søgemaskiner er en fortælling om tre sammenfaldende fejl: en algoritme der inviterede til manipulation, en forretningsmodel der belønnte distraction frem for fokus, og en manglende erkendelse af at søgekvalitet i sig selv er en konkurrencefordel.

Google løste det første problem med PageRank — links som kvalitetssignal frem for blot keyword-frekvens. Google løste det andet problem ved at insistere på en ren søgeflade. Og Google betalte markedet det respekt at brugere faktisk ville have bedre resultater.

For SEO var læren klar: når rankingfaktoren er keywords, optimerer alle for keywords. Når rankingfaktoren er links, optimerer alle for links. Algoritmen designer den adfærd den måler. Det er en lektion der stadig er relevant i dag — uanset hvilken algoritme der dominerer.

Se den komplette historiske kontekst under søgemaskinernes historie.