Web directories — Yahoo Directory, DMOZ og søgningens første epoke

Inden crawlere og algoritmer overtog, var søgning et menneskeprojekt. Redaktører besøgte websites, vurderede dem og placerede dem i kategorier. Det lyder primitivt — men i en kort periode var web directories faktisk den bedste løsning på et reelt problem: internettet var vokset for hurtigt til at nogen overhovedet vidste hvad der fandtes derude.

Hvad en web directory er

En web directory er en menneskecureret fortegnelse over websites, organiseret i hierarkiske kategorier. Modellen ligner en telefonbog eller et bibliotekskatalog: et menneske beslutter at en given side hører hjemme under “Teknologi > Internet > Søgemaskiner” eller “Rejser > Europa > Danmark > Restauranter”, og placerer den der.

Brugere navigerede directories ved at klikke sig gennem kategorier — eller ved at søge inden for den kurerede samling. Det var ikke websøgning i moderne forstand; det var navigation i en redaktørers model af internettet.

Yahoo Directory (1994)

Yahoo Directory begyndte som Jerry Yang og David Filos personlige liste over interessante websites, som de vedligeholdt som Stanford-studerende i 1994. “Jerry and David’s Guide to the World Wide Web” voksede så hurtigt at det om blot måneder blev omdøbt til Yahoo og registreret som selvstændig virksomhed.

I Yahoo’s storhedstid i slutningen af 1990’erne var Yahoo Directory det sted at opdage nye websites. En optagelse i Yahoo Directory garanterede trafik — og en optagelse i den betalte “Business Express”-service (499 dollars om året) var en standard udgift for seriøse websites.

For tidlig SEO betød Yahoo Directory enormt. Det var ikke blot trafik, det var troværdighed. En Yahoo-listing signalerede at en menneskelig redaktør havde vurderet dit website og fundet det værdigt.

DMOZ — Open Directory Project (1998)

DMOZ (Mozilla Open Directory Project) var det åbne alternativ. Lanceret i 1998 som et frivilligt, åbent katalog, var DMOZ bygget på idéen om at tusindvis af fageksperter som frivillige redaktører kunne kurere internettet bedre end en kommerciel virksomhed.

I sin storhedstid havde DMOZ over 5 millioner listings kureret af 90.000+ frivillige redaktører fordelt på hundredvis af sprog. Googles eget Directory (nu lukket) var baseret på DMOZ-data.

En DMOZ-optagelse var i perioden 2000-2008 en af de mest eftertragtede SEO-signaler. Google brugte aktivt DMOZ-data som et kvalitetssignal, og en listing i det rette underkatalog kunne have direkte indflydelse på ranking. SEOs søgte aktivt om optagelse — og ventede ofte i måneder eller år på at en redaktør behandlede ansøgningen.

Begrænsningerne: skalerbarhed og manipulation

Web directories fungerede i en periode hvor internettet var lille nok til at menneskelig kuration var meningsfuldt. Det ophørte hurtigt med at være tilfældet.

Skalerbarhed var det fundamentale problem. I 1994 var der hundredtusinder af websites. I 2000 var der hundredvis af millioner. Ingen organisation af frivillige redaktører kunne holde trit. DMOZ’s kategorier for mange emner var forældede, ufuldstændige eller styret af enkeltpersoner med specifikke bias.

Manipulation var det andet problem. Redaktørpladser i populære kategorier var eftertragtet — en redaktør kunne inkludere venligtsindede sites og afvise konkurrenter. Der var dokumenterede tilfælde af korruption og misbrug, selvom DMOZ forsøgte at håndtere det.

Ventetider var i praksis prohibitive. Ansøgninger til DMOZ kunne tage måneder eller aldrig blive behandlet. For en kommerciel website der havde brug for synlighed nu, var det ubrugelig.

Nedgangen: crawlere vinder, directories taber

Da Google beviste at en algoritme baseret på PageRank kunne levere bedre resultater end menneskecurerede directories, var directories’ dage talte. Algoritmisk søgning skalerede ubegrænset; menneskelig kuration gjorde ikke.

Yahoo Directory lukkede i december 2014. Yahoo besluttede at ressourcerne bedre kunne bruges andetsteds — et stille punktum for den service der i en kortere periode var internettets vigtigste navigationssystem.

DMOZ overlevede mærkværdigt nok til marts 2017, da AOL (der ejede projektet) besluttede at lukke det ned. Et community-projekt forsøgte at videreføre data under navnet Curlie.org — som faktisk stadig eksisterer.

Hvad directories lærer os om kuration vs. algoritme

Web directories er ikke bare historisk kuriositet. De repræsenterer en fundamental tension der stadig er relevant: menneskelig kuration kontra algoritmisk skalering.

Menneskelig kuration er præcis, men langsom og begrænset. Algoritmer er hurtige og skalerbare, men kan manipuleres. Googles løsning — algoritmisk søgning suppleret med menneskelig quality rating via Search Quality Raters — er i virkeligheden en hybrid: algoritmen skalerer, men menneskelig bedømmelse former og kalibrerer algoritmen.

I dag ses den samme tension i AI-genereret indhold: skala og hastighed på den ene side, kvalitet og troværdighed på den anden. Directories løste ikke det problem. Googles algoritmer løste det delvist. AI-æraen rejser det igen.

Se den fulde historiske kontekst under søgemaskinernes historie.