www.mikrocontroller.net

Forum: PC Hard- und Software Bot-Traffic verringern ?


Autor: Dominik Ernst (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hallo Forum,

ich habe eine kleine 08-15 webseite, die nur aus ein paar Zeilen 
statischem HTML besteht sowie einer PHP-Passwortabfrage. Auf der 
Webseite biete ich Studenten passwortgeschützt pdf Dateien zum Download 
an. Mehr nicht.

Inzwischen habe ich pro Monat ca. 10 GB Traffic von Suchmaschinen-Bots 
etc., dagegen aber nur ca. 500MB richtigen Traffic von den Usern mit 
Passwortzugang.

Der Suchmaschinen-Traffic steht in keinem Verhältnis zu dem gewollten 
Traffic. Wie kann ich das vermeiden bzw. verringern? Meine Webseite muss 
weder bei google schnell zu finden sein noch sonstwie bekannt werden. 
Kann ich Bots aussperren? Wenn ja, wie geht das?

vielen Dank schon mal für Ideen!

Dominik

Autor: MeinerEiner (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ne Robots.txt anlegen. Wenn sich die Suchmaschinen daran halten, werden 
die die Seite in Zukunft in Ruhe lassen.

Autor: Dominik Ernst (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hallo,

erstmal vielen Dank für den Tip!

Wie muss so eine Robots.txt aussehen? Ich habe leider von Webseiten Null 
Ahnung...

Gibt es da ein Template? Wo muss die Datei hin? In das gleiche 
Verzeichnis auf dem Server wo die statischen HTML-Seiten liegen?

vielen Dank!!

Dominik

Autor: googlebot (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
da würd ich doch einfach bei google schauen
http://www.google.com/support/webmasters/bin/answe...
oder mal googeln

Autor: Peter (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
was macht denn der Bot auf der Seite wenn alles Password geschützt ist? 
Mit dem download von ein paar html bekommen die bots bestimmt keine 10GB 
hin. Bist du sicher das du bei der auswertung kein Fehler gemachst hast?

Autor: Zwölf Mal Acht (hacky)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Falls die Studenen auf dem gleichen Subnetz sind, so kann man mit einer 
Firewall den Rest der Welt ausblenden.

Autor: Gummibärchen (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
...oder sich andere robots.txt anschauen:

http://www.mikrocontroller.net/robots.txt

hat ja genug ;-)

Autor: hst (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
> Ich habe leider von Webseiten Null
> Ahnung...

Daran solltest du was ändern, wenn du eine Website erstellst und 
betreibst ;-)


http://de.selfhtml.org/
http://de.selfhtml.org/diverses/robots.htm

Autor: Dominik Ernst (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hallo alle,

erstmal vielen Dank für die Infos!

Die robots.txt hab ich gefunden, scheint einfach zu sein. Hab ich jetzt 
erstellt und hochgeladen.

Der Traffic ist tatsächlich so hoch, wird auch auf der Abrechnung des 
Webhosters so abgerechnet.

Ich biete dort viele pdfs an für die Studenten, in Summe ca. 70MB. Da 
bekommt man schon einige GB zusammen wenn es viele Robots gibt die das 
runterladen.

Das mit dem Subnetz geht leider nicht, vielen Dank aber für die Idee!

Außer der robots.txt gibt es also keine weiteren Schutzmaßnahmen?

viele Grüße,
Dominik

Autor: ... (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Also, wenn ich das richtig verstehe, sind die PDF zum runterladen frei 
verfügbar, nur dann die Dateien selbst Passwort geschützt... Da ist ja 
klar, dass so Unmengen an Traffic zusammen kommen. Das effektivste wäre 
wohl ein passwortgeschützter Bereich, in dem die Links zu den PDFs 
stehen.

Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein 
Passwort abgefragt. Alternativ ist htaccess dein Freund ( 
http://www.grammiweb.de/anleitungen/ka_htaccess.shtml )

Autor: Gast (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hm. Wenn die Dateien Passwortgeschützt sind, wie Dominik im ersten 
Posting schreibt, dann dürften da doch keine Bots rankommen. Irgendwas 
stimmt da nicht.

> Das einfachste wäre wohl ein kleines PHP-Script, bei dem zuerst ein
> Passwort abgefragt.

Genau das erwähnt Dominik in seinem ersten beiden Sätzen ja.

Autor: oszi40 (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Bei obiger Traffic würde ich die Webseite erst mal von sämtlichen 
groooßen Bildern befreien. Was nicht da ist, kann keinen Bot 
interessieren.

Man sollte die Zugriffsrechte auf den Ordner mit diesen Dateien nochmals 
prüfen.

In einfachen Fällen kann das schon mit simplen Fragen, die ein Bot nicht 
beantworten kann, viel verhindert werden: "Welche Farbe hat ein 
Briefkasten?" AW: rot/lila/blau/gelb

In ungünstigen Fällen kommen Besucher auch nicht über die Seite wo die 
vorgelagerte Abfrage des PWs steht.

Antwort schreiben

Die Angabe einer E-Mail-Adresse ist freiwillig. Wenn Sie automatisch per E-Mail über Antworten auf Ihren Beitrag informiert werden möchten, melden Sie sich bitte an.

Wichtige Regeln - erst lesen, dann posten!

  • Groß- und Kleinschreibung verwenden
  • Längeren Sourcecode nicht im Text einfügen, sondern als Dateianhang

Formatierung (mehr Informationen...)

  • [c]C-Code[/c]
  • [avrasm]AVR-Assembler-Code[/avrasm]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] - Link zu Artikel
  • Verweis auf anderen Beitrag einfügen: Rechtsklick auf Beitragstitel,
    "Adresse kopieren", und in den Text einfügen




Bild automatisch verkleinern, falls nötig
Bitte das JPG-Format nur für Fotos und Scans verwenden!
Zeichnungen und Screenshots im PNG- oder
GIF-Format hochladen. Siehe Bildformate.
Hinweis: der ursprüngliche Beitrag ist mehr als 6 Monate alt.
Bitte hier nur auf die ursprüngliche Frage antworten,
für neue Fragen einen neuen Beitrag erstellen.

Mit dem Abschicken bestätigst du, die Nutzungsbedingungen anzuerkennen.