Hallo Forum, ich habe eine kleine 08-15 webseite, die nur aus ein paar Zeilen statischem HTML besteht sowie einer PHP-Passwortabfrage. Auf der Webseite biete ich Studenten passwortgeschützt pdf Dateien zum Download an. Mehr nicht. Inzwischen habe ich pro Monat ca. 10 GB Traffic von Suchmaschinen-Bots etc., dagegen aber nur ca. 500MB richtigen Traffic von den Usern mit Passwortzugang. Der Suchmaschinen-Traffic steht in keinem Verhältnis zu dem gewollten Traffic. Wie kann ich das vermeiden bzw. verringern? Meine Webseite muss weder bei google schnell zu finden sein noch sonstwie bekannt werden. Kann ich Bots aussperren? Wenn ja, wie geht das? vielen Dank schon mal für Ideen! Dominik
Ne Robots.txt anlegen. Wenn sich die Suchmaschinen daran halten, werden die die Seite in Zukunft in Ruhe lassen.
Hallo, erstmal vielen Dank für den Tip! Wie muss so eine Robots.txt aussehen? Ich habe leider von Webseiten Null Ahnung... Gibt es da ein Template? Wo muss die Datei hin? In das gleiche Verzeichnis auf dem Server wo die statischen HTML-Seiten liegen? vielen Dank!! Dominik
da würd ich doch einfach bei google schauen http://www.google.com/support/webmasters/bin/answer.py?answer=156449 oder mal googeln
was macht denn der Bot auf der Seite wenn alles Password geschützt ist? Mit dem download von ein paar html bekommen die bots bestimmt keine 10GB hin. Bist du sicher das du bei der auswertung kein Fehler gemachst hast?
Falls die Studenen auf dem gleichen Subnetz sind, so kann man mit einer Firewall den Rest der Welt ausblenden.
...oder sich andere robots.txt anschauen: http://www.mikrocontroller.net/robots.txt hat ja genug ;-)
> Ich habe leider von Webseiten Null > Ahnung... Daran solltest du was ändern, wenn du eine Website erstellst und betreibst ;-) http://de.selfhtml.org/ http://de.selfhtml.org/diverses/robots.htm
Hallo alle, erstmal vielen Dank für die Infos! Die robots.txt hab ich gefunden, scheint einfach zu sein. Hab ich jetzt erstellt und hochgeladen. Der Traffic ist tatsächlich so hoch, wird auch auf der Abrechnung des Webhosters so abgerechnet. Ich biete dort viele pdfs an für die Studenten, in Summe ca. 70MB. Da bekommt man schon einige GB zusammen wenn es viele Robots gibt die das runterladen. Das mit dem Subnetz geht leider nicht, vielen Dank aber für die Idee! Außer der robots.txt gibt es also keine weiteren Schutzmaßnahmen? viele Grüße, Dominik
Also, wenn ich das richtig verstehe, sind die PDF zum runterladen frei verfügbar, nur dann die Dateien selbst Passwort geschützt... Da ist ja klar, dass so Unmengen an Traffic zusammen kommen. Das effektivste wäre wohl ein passwortgeschützter Bereich, in dem die Links zu den PDFs stehen. Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein Passwort abgefragt. Alternativ ist htaccess dein Freund ( http://www.grammiweb.de/anleitungen/ka_htaccess.shtml )
Hm. Wenn die Dateien Passwortgeschützt sind, wie Dominik im ersten Posting schreibt, dann dürften da doch keine Bots rankommen. Irgendwas stimmt da nicht. > Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein > Passwort abgefragt. Genau das erwähnt Dominik in seinem ersten beiden Sätzen ja.
Bei obiger Traffic würde ich die Webseite erst mal von sämtlichen groooßen Bildern befreien. Was nicht da ist, kann keinen Bot interessieren. Man sollte die Zugriffsrechte auf den Ordner mit diesen Dateien nochmals prüfen. In einfachen Fällen kann das schon mit simplen Fragen, die ein Bot nicht beantworten kann, viel verhindert werden: "Welche Farbe hat ein Briefkasten?" AW: rot/lila/blau/gelb In ungünstigen Fällen kommen Besucher auch nicht über die Seite wo die vorgelagerte Abfrage des PWs steht.
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.