27-07-08

Google 1 biljoen geïndexeerde url's

Google doorbreekt grens van 1 biljoen geïndexeerde url's
iphone-google-copyGoogle heeft bekendgemaakt dat zijn zoekindex meer dan 1 biljoen geïndexeerde url's bevat. Het internet is echter vele malen groter, omdat een groot aantal pagina's niet geïndexeerd zal worden vanwege een gebrek aan relevantie.
In 1998 begon Google met een index van 26 miljoen url's. In 2000 was dit aantal gegroeid naar 1 miljard en inmiddels zijn het er 1 biljoen, oftewel 1.000.000.000.000. Op internet zijn echter nog veel meer pagina's te vinden, aldus twee Google-engineers op de Google-weblog. Een deel daarvan bevat exact dezelfde content als reeds geïndexeerde url's en wordt daarom niet meegeteld. Een ander deel bevat content die niet relevant is en is daarom niet opgenomen in de index.
Op basis van deze linkjesbrei wordt een graaf gemaakt, die de basis vormt voor Googles Pagerank-algoritme. In 1998 duurde het doorrekenen van het algoritme enkele uren op een gewoon werkstation. Inmiddels wordt het algoritme door de Google-servers meerdere malen per dag bijgewerkt. Het doorrekenen van een graaf bestaande uit 1 biljoen elementen is, aldus Google, vergelijkbaar met het onderzoeken van elke kruising van elke weg in de VS. Er is echter een klein verschil: het gaat om een kaart die 50.000 keer groter is dan Amerika en – alsof dat niet genoeg is – ook nog eens 50.000 keer meer kruisingen en wegen bevat.
Hoe groot het internet werkelijk is kan ook Google ons niet vertellen. De zoekindex mag inmiddels meer dan 1 biljoen url's bevatten, een deel van het internet wordt door Google welbewust niet opgenomen in deze index. Daarnaast groeit het internet met enkele miljarden pagina's per dag en komt er nog eens bij dat er bijvoorbeeld digitale kalenders zijn met linkjes naar 'de volgende dag', waardoor er in feite oneindig grote websites bestaan. Hoe groot het internet werkelijk is, kan derhalve niet exact bepaald worden.  Bron: Tweakers.net

| Permalink | Commentaren (0) |  del.icio.us | | Digg! Digg |  Facebook |

De commentaren zijn gesloten.