Suchgeschwindigkeit google / grep unter Unix u. Linux

[Klaus (Gast)]

Ich frage mich, wie es Google schafft so schnell so viele Webseiten zu 
durchsuchen, wenn man eine Suche startet. Es müssen doch sehr viele 
Webseiten nach dem Suchbegriff durchsucht werden. Wie kann das so 
schnell gehen?

Wenn ich z.B. unter Unix bei einer grossen Datei (sagen wir mal grösser 
200 MB) ein grep mache, dauert es auch einige Zeit, bis die Ergebnisse 
ausgegeben werden. Wie kann google im Vergleich dazu so super schnell 
sein?

[GO (Gast)]

http://www2.iicm.tugraz.at/0x811bc833_0x00b17fd0

[Andreas S. (andreas) (Admin)]

Wenn du in einem Buch nach einem Begriff suchst, dann musst du dazu 
nicht das ganze Buch durchlesen, sondern nur im Index nachsehen auf 
welchen Seiten das Wort vorkommt. Nach dem selben Prinzip arbeiten 
Suchmaschinen (und Datenbanken allgemein).

[Morin (Gast)]

Weil grep veraltete Technik verwendet. Stichwort ist die Indizierung 
("indexing") des Datenmaterials, wie ja schon gesagt wurde. Um mal einen 
Vorgeschmack zu bekommen, lies dir mal durch, wie Hash-Tables 
funktionieren. Im Vergleich dazu sucht grep wirklich das gesamte 
Datenmaterial durch und braucht entsprechend lange.

Die verteilten Serverfarmen sind dafür gut mit den zig gleichzeitigen 
Anfragen noch klarzukommen. Probier mal Spotlight auf dem Mac aus, das 
findet auch in ein, zwei Sekunden all das wofür grep je nach Anfrage 
auch locker eine Viertelstunde braucht. Serverfarmen sind also nicht 
nötig für schnelle Suchen.

[Thomas W. (thomas_v2)]

Morin wrote:
> Weil grep veraltete Technik verwendet. Stichwort ist die Indizierung
> ("indexing") des Datenmaterials, wie ja schon gesagt wurde. Um mal einen

grep ist nicht veraltet sondern dafür da wofür es gemacht wurde.
Wenn du mit Spotlight oder anderen Indexierungssystemen z.B. deine 
Logdateien durchforstest...viel Spaß dabei.

[Morin (Gast)]

Kannst du das etwas näher erläutern? Hab bis jetzt mit Spotlight keine 
Probleme gehabt, außer dass grep (wenn anwendbar, s.o.) oft einfacher 
war (für nen Nerd wie mich...) weil aus der Kommandozeile startbar.