mikrocontroller.net

Forum: Offtopic Suchgeschwindigkeit google / grep unter Unix u. Linux


Autor: Klaus (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ich frage mich, wie es Google schafft so schnell so viele Webseiten zu 
durchsuchen, wenn man eine Suche startet. Es müssen doch sehr viele 
Webseiten nach dem Suchbegriff durchsucht werden. Wie kann das so 
schnell gehen?

Wenn ich z.B. unter Unix bei einer grossen Datei (sagen wir mal grösser 
200 MB) ein grep mache, dauert es auch einige Zeit, bis die Ergebnisse 
ausgegeben werden. Wie kann google im Vergleich dazu so super schnell 
sein?

Autor: GO (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert

Autor: Andreas Schwarz (andreas) (Admin) Benutzerseite Flattr this
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Wenn du in einem Buch nach einem Begriff suchst, dann musst du dazu 
nicht das ganze Buch durchlesen, sondern nur im Index nachsehen auf 
welchen Seiten das Wort vorkommt. Nach dem selben Prinzip arbeiten 
Suchmaschinen (und Datenbanken allgemein).

Autor: Morin (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Weil grep veraltete Technik verwendet. Stichwort ist die Indizierung 
("indexing") des Datenmaterials, wie ja schon gesagt wurde. Um mal einen 
Vorgeschmack zu bekommen, lies dir mal durch, wie Hash-Tables 
funktionieren. Im Vergleich dazu sucht grep wirklich das gesamte 
Datenmaterial durch und braucht entsprechend lange.

Die verteilten Serverfarmen sind dafür gut mit den zig gleichzeitigen 
Anfragen noch klarzukommen. Probier mal Spotlight auf dem Mac aus, das 
findet auch in ein, zwei Sekunden all das wofür grep je nach Anfrage 
auch locker eine Viertelstunde braucht. Serverfarmen sind also nicht 
nötig für schnelle Suchen.

Autor: Thomas W. (thomas_v2)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Morin wrote:
> Weil grep veraltete Technik verwendet. Stichwort ist die Indizierung
> ("indexing") des Datenmaterials, wie ja schon gesagt wurde. Um mal einen

grep ist nicht veraltet sondern dafür da wofür es gemacht wurde.
Wenn du mit Spotlight oder anderen Indexierungssystemen z.B. deine 
Logdateien durchforstest...viel Spaß dabei.

Autor: Morin (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Kannst du das etwas näher erläutern? Hab bis jetzt mit Spotlight keine 
Probleme gehabt, außer dass grep (wenn anwendbar, s.o.) oft einfacher 
war (für nen Nerd wie mich...) weil aus der Kommandozeile startbar.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail, Yahoo oder Facebook? Keine Anmeldung erforderlich!
Mit Google-Account einloggen | Mit Facebook-Account einloggen
Noch kein Account? Hier anmelden.