Bot-Traffic verringern ?

Ne Robots.txt anlegen. Wenn sich die Suchmaschinen daran halten, werden 
die die Seite in Zukunft in Ruhe lassen.

Hallo,

erstmal vielen Dank für den Tip!

Wie muss so eine Robots.txt aussehen? Ich habe leider von Webseiten Null 
Ahnung...

Gibt es da ein Template? Wo muss die Datei hin? In das gleiche 
Verzeichnis auf dem Server wo die statischen HTML-Seiten liegen?

vielen Dank!!

Dominik

da würd ich doch einfach bei google schauen
http://www.google.com/support/webmasters/bin/answer.py?answer=156449
oder mal googeln

was macht denn der Bot auf der Seite wenn alles Password geschützt ist? 
Mit dem download von ein paar html bekommen die bots bestimmt keine 10GB 
hin. Bist du sicher das du bei der auswertung kein Fehler gemachst hast?

...oder sich andere robots.txt anschauen:

http://www.mikrocontroller.net/robots.txt

hat ja genug ;-)

> Ich habe leider von Webseiten Null
> Ahnung...

Daran solltest du was ändern, wenn du eine Website erstellst und 
betreibst ;-)


http://de.selfhtml.org/
http://de.selfhtml.org/diverses/robots.htm

Hallo alle,

erstmal vielen Dank für die Infos!

Die robots.txt hab ich gefunden, scheint einfach zu sein. Hab ich jetzt 
erstellt und hochgeladen.

Der Traffic ist tatsächlich so hoch, wird auch auf der Abrechnung des 
Webhosters so abgerechnet.

Ich biete dort viele pdfs an für die Studenten, in Summe ca. 70MB. Da 
bekommt man schon einige GB zusammen wenn es viele Robots gibt die das 
runterladen.

Das mit dem Subnetz geht leider nicht, vielen Dank aber für die Idee!

Außer der robots.txt gibt es also keine weiteren Schutzmaßnahmen?

viele Grüße,
Dominik

Also, wenn ich das richtig verstehe, sind die PDF zum runterladen frei 
verfügbar, nur dann die Dateien selbst Passwort geschützt... Da ist ja 
klar, dass so Unmengen an Traffic zusammen kommen. Das effektivste wäre 
wohl ein passwortgeschützter Bereich, in dem die Links zu den PDFs 
stehen.

Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein 
Passwort abgefragt. Alternativ ist htaccess dein Freund ( 
http://www.grammiweb.de/anleitungen/ka_htaccess.shtml )

Hm. Wenn die Dateien Passwortgeschützt sind, wie Dominik im ersten 
Posting schreibt, dann dürften da doch keine Bots rankommen. Irgendwas 
stimmt da nicht.

> Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein
> Passwort abgefragt.

Genau das erwähnt Dominik in seinem ersten beiden Sätzen ja.

Bei obiger Traffic würde ich die Webseite erst mal von sämtlichen 
groooßen Bildern befreien. Was nicht da ist, kann keinen Bot 
interessieren.

Man sollte die Zugriffsrechte auf den Ordner mit diesen Dateien nochmals 
prüfen.

In einfachen Fällen kann das schon mit simplen Fragen, die ein Bot nicht 
beantworten kann, viel verhindert werden: "Welche Farbe hat ein 
Briefkasten?" AW: rot/lila/blau/gelb

In ungünstigen Fällen kommen Besucher auch nicht über die Seite wo die 
vorgelagerte Abfrage des PWs steht.