Forum: Offtopic EXTREMER Traffic auf Webspace - was tun?


von Andreas B. (loopy83)


Angehängte Dateien:

Lesenswert?

Hallo zusammen,

Ich besitze eine Domain und den dazugehörigen Webspace, der bei 
all-inclusive-webspace gehostet wird. Dort liegen überwiegend alte 
Fotoalben (html Seiten), die ich dem Freundeskreis zur Verfügung stelle.

Üblicherweise gehe ich so vor:
- ich lade ein Video oder eine Bildersammlung auf den Webspace (.zip 
Archive), um sie den beteiligten Freunden zur Verfügung zu stellen
- die Archive sind 700MB - 1GB groß
- innerhalb von ein paar Tagen laden sich meine Freunde (5-10 Leute) die 
Datei runter
- danach lösche ich die Datei wieder

Jetzt hatte ich schon zwei Mal folgendes Problem:
- Im September habe ich ein 1GB großes Hochzeitsvideo hochgeladen, um es 
den Hochzeitsgästen zur Verfügung zu stellen
- innerhalb von 3 Tagen war meine Domain gesperrt, weil 12TB (!) Traffic 
verursacht wurden

- vergangenen Sonntag habe ich eine 700MB große .zip Datei hochgeladen, 
die Bilder vom Wochenende enthalten hat
- gestern wurde meine Domain wieder gesperrt, weil 300GB Traffic 
verursacht wurden

Das ganze sieht dann so aus wie im Anhang!

Im ersten Fall bestand der Nutzerkreis vielleicht aus 15 Personen.
Im zweiten Fall waren es 3-4 Personen, die es laden sollten.
In jedem Fall nicht genug, um 12TB (!) Daten zu erreichen!

Nach dem zweiten Fall droht mir der Hoster nun mit der Kündigung, die 
ich noch abwenden konnte. Aber beim nächsten Mal ist es dann soweit...

Ich habe den Link zu den Archiven immer direkt im Format 
http://domain.de/ordner/datei.zip per Whatsapp verschickt. Ich habe es 
also in keinem öffentlichen Forum oder sonst wo gepostet!
Allerdings habe ich auch keine Authentifizierung angehängt, weil ich 
nicht weiß, wie ich das über http realisieren kann.

Auffallend ist auch, dass ich immer so ein Grundrauschen von 100-1000MB 
habe. Dabei liegen auf dem Server und der Website vielleicht 1000-2000 
stark komprimierte Bilder in einem html-Fotoalbum, die keinen 
interessieren dürften und mein Freundeskreis vielleicht 1-2 mal im Jahr 
in alten Erinnerungen schwelgen will :)
Wird das Grundrauschen durch irgendwelche Scan-Bots verursacht?

Auch auffallend ist, dass der extrem hohe Traffic vom Web aus verursacht 
wurde. Direkten Zugang zum FTP scheint also keiner zu haben, um diesen 
zu mißbrauchen. Das Passwort habe ich natürlich jedes Mal sofort 
geändert!

Wer hat eine Vermutung, woher der extreme Traffic kommen kann, kurz 
nachdem ich größere Dateien hochgeladen habe?
Scannen da 1000 Firmen 24/7 das komplette Netz und laden alles 1000fach 
runter, was man findet?
Wer macht da ein Backup vom Internet?

all-inclusive-webspace meinte übrigens, dass es meine Schuld ist, wenn 
ich einen Link irgendwo poste und der dann immer wieder und wieder 
gepostet wird.
Wahrscheinlich gehen sie davon aus, dass ich irgendwelche Filme zum 
Download anbiete und es dann in irgendwelchen einschlägigen Foren 
poste... was ja auch nachvollziehbar ist, aber nun mal nicht zutrifft. 
Mehr konnten sie mir nicht sagen oder helfen, außer die Kündigung noch 
einmal auszusetzen.

Mir wird nur eine fertige aufbereitete Zugriffsstatistik angeboten und 
dort taucht der ausschlaggebende Traffic nicht mal auf
Dort sehe ich nur das Grundrauschen und den nachvollziehbaren Traffic 
via FTP etc.

Hat wer eine Idee?
Wie kann ich mich dagegen schützen, ohne auf Dropbox etc. auszuweichen?

Vielen Dank!
Andi

: Bearbeitet durch User
von Läubi .. (laeubi) Benutzerseite


Lesenswert?

Andreas B. schrieb:
> Ich habe es also in keinem öffentlichen Forum oder sonst wo gepostet!

Doch bei WhatsApp... ;-)
Gerüchteweise sollen diverse Anbieter URLs auf "bösen content" 
scannen... richte doch einfach eine htaccess rule ein und gut ist.

Und dann gibt es noch die User die sich Dinge nicht speichern sondern 
jedes mal neu abrufen.. Flatrate sei dank.

von K. L. (trollen) Benutzerseite


Lesenswert?

Hast du keine Logs (access_log)? Wenn nein, frag mal beim Hoster nach 
welchen. So ist das eigentlich nur raten.

von Axel S. (a-za-z0-9)


Lesenswert?

Andreas B. schrieb:
> Hat wer eine Idee?
> Wie kann ich mich dagegen schützen, ohne auf Dropbox etc. auszuweichen?

1. robots.txt anlegen, alle Crawler aussperren

2. für das Verzeichnis, das deine Dateien enthält, das automatische 
Erzeugen eines Inhaltsverzeichnisses abschalten. Im einfachsten Fall 
eine leere index.html da hin legen

Wenn jetzt immer noch Zugriffe von Dritten stattfinden, dann leakt die 
per Whatsapp verteilte URL. Ich würde ja soweieso kein Whatsapp 
verwenden um private URLs zu verteilen, sondern verschlüsselte Email.

Falls du dann trotzdem bei Whatsapp bleiben willst, bleibt dir nur noch 
für den Downloadbereich HTTP-Authentication zu erzwingen. Wenn dein 
Hoster Apache verwendet, dann z.B. in einer .htaccess Datei.

Für das public Verzeichnis in meinem Webspace sieht das so aus (die 
.htaccess schaltet die Authentication aus, die ansonsten in der 
httpd.conf schon aktiviert ist; robots.txt erlaubt wget und sonst nix)
1
$ ls -la www/main/public/
2
-rw-r--r-- 1 axel axel       27 Jul  4  2012 .htaccess
3
-rw-r--r-- 1 axel axel        0 Jul  4  2012 index.html
4
-rw-r--r-- 1 axel axel       54 Aug 30  2011 robots.txt
5
...
6
7
cat  www/main/public/robots.txt 
8
User-agent: wget
9
Disallow:
10
11
User-agent: *
12
Disallow: /
13
14
$ cat  www/main/public/.htaccess 
15
Satisfy Any
16
Allow from all

Für ein Verzeichnis das nur der Familie zugänglich sein soll:
1
$ cat  www/main/familie/.htaccess 
2
Require user ich mama papa oma

Siehe: https://httpd.apache.org/docs/2.2/howto/htaccess.html#auth


XL

von Andreas D. (rackandboneman)


Lesenswert?

"Mir wird nur eine fertige aufbereitete Zugriffsstatistik angeboten und
dort taucht der ausschlaggebende Traffic nicht mal auf
Dort sehe ich nur das Grundrauschen und den nachvollziehbaren Traffic
via FTP etc."

Da hast Du ein Argument gegenüber dem Anbieter dass Du eben keine 
Verantwortung für diesen Traffic übernehmen kannst ... ich gehe mal 
davon aus dass diese Zugriffstatistik Zugriffe erfassen würde welche Du 
durch Massnahmen die in deiner Machst stehen (Links posten oder nicht 
posten etc) verursachen könntest.

Bitte den Anbieter doch um ein access-Log zum selber auswerten, und jag 
es durch ein Tool wie zB awstats. Und dann ist der Fall klar - entweder 
ist es tatsächlich HTTP (oder FTP)-Traffic den du unter Kontrolle 
bringen musst, oder etwas anderes dass nicht in deinem 
Verantwortungsbereich liegen KANN wenn es kein Rootserver ist.

Oder hast Du irgendwelche Anwendungen (PHP/CGI/....) dort installiert 
die ggf selber (ausgehenden) Traffic verursachen?

Vergiss auch nicht dass abgelehnte Zugriffsversuche durchaus auch als 
Traffic gewertet werden können - wenn das aber HTTP ist sollte dies auch 
in Logs uns Statistiken auftauchen. Wenn natürlich irgendjemand blinden 
Störtraffic auf die entsprechende IP schickt und dein Anbieter diesen 
trotzdem als Traffic wertet...

von Andreas B. (loopy83)


Lesenswert?

Hallo zusammen,

Läubi .. schrieb:
> Und dann gibt es noch die User die sich Dinge nicht speichern sondern
> jedes mal neu abrufen.. Flatrate sei dank.

Bei 12TB Traffic hätte alle Empfänger der URL dann zusammen die Datei 
12000 herunterladen müssen... sehr unwahrscheinlich :)

K. Laus schrieb:
> Hast du keine Logs (access_log)? Wenn nein, frag mal beim Hoster nach
> welchen. So ist das eigentlich nur raten.

Ich habe leider keinen Zugriff auf die access_log, werde ich aber mal 
erfragen. Vielen Dank!

Axel Schwenke schrieb:
> 1. robots.txt anlegen, alle Crawler aussperren

Vielen Dank für den Hinweis!
Ich habe eine robots.txt im Wurzelverzeichnis mit folgendem Inhalt 
erstellt:
1
User-agent: *
2
Disallow: /

Axel Schwenke schrieb:
> 2. für das Verzeichnis, das deine Dateien enthält, das automatische
> Erzeugen eines Inhaltsverzeichnisses abschalten. Im einfachsten Fall
> eine leere index.html da hin legen

Vielen Dank für den Hinweis!
Ich habe eine leere index.html im fraglichen Ordner erstellt.

Axel Schwenke schrieb:
> Falls du dann trotzdem bei Whatsapp bleiben willst, bleibt dir nur noch
> für den Downloadbereich HTTP-Authentication zu erzwingen. Wenn dein
> Hoster Apache verwendet, dann z.B. in einer .htaccess Datei.

Vielen Dank für den Hinweis!
Ich habe mich gerade belesen und wollte es fix mit einem Testuser und 
Testordner testen. Dazu habe ich folgende Dateien im fraglichen Ordner 
erstellt.
Leider kam einmal eine Abfrage und seit dem immer wieder
"Internal Server Error
The server encountered an internal error or misconfiguration and was 
unable to complete your request."

.htaccess
1
AuthType Basic
2
AuthName "Passwortschutz"
3
AuthUserFile /www/test/.htpasswd
4
Require test

.htpasswd
1
test:$apr1$JsMUc6hI$pGy6Adx223fBiSRrnRcG0/

Andy D. schrieb:
> Oder hast Du irgendwelche Anwendungen (PHP/CGI/....) dort installiert
> die ggf selber (ausgehenden) Traffic verursachen?

Ich hatte vor 3-4 Jahren mal ein phpbb Forum laufen, aber alle 
Datenbanken, dazugehörige Dateien etc. habe ich schon gelöscht.
Es sind also nur Bilder, das dazugehörige html-Fotoalbum und ein paar 
einzelne Dateien vorhanden.
Keine Scripte, CMS. oder sonst was...

Vielen Dank für die schnelle Hilfe!
Andi

von Uhu U. (uhu)


Lesenswert?

Axel Schwenke schrieb:
> robots.txt erlaubt wget und sonst nix)

robots.txt funktioniert nur, wenn der Sauger sie auch beachtet. 
Erzwungen wird da nix.

von Andreas B. (loopy83)


Lesenswert?

Ich habe jetzt auch die access-log gefunden und mir den fraglichen 
Zeitraum angeschaut.
Ich sehe da keine auffällig großen Zugriffe auf die fragliche Datei!

In der gesamten access-log vom 26.10. (da habe ich die Datei 
hochgeladen) bis heute wird die Datei nur 38mal aufgerufen und mit 
Sicherheit nicht immer komplett geladen, weil zwei Zugriffe mit dem 
gleichen Gerät kurz hintereinander kommen. Die Hälfte der Zugriffe war 
ich selber heute beim rumtesten was da los ist! Selbst 40 mal 700MB sind 
keine 300GB!

Kann ich die access-log irgendwie auswerten lassen?
awstats gibt es ja, aber kann ich das auch irgendwie live online machen, 
ohne irgendwelche Installationen?
Wobei mir die access-log ja auch keinen Traffic anzeigt...

Alles nicht so einfach!

Es scheinen auch ganz viele Bots/Crawler mit irgendwelchen alten 
Ordnerstrukturen zu kommen. Die greifen auch Ordner zu, die es seit 
Monaten/Jahren nicht mehr gibt. Schon alleine das macht 40% der Zugriffe 
aus...

: Bearbeitet durch User
von Axel S. (a-za-z0-9)


Lesenswert?

Andreas B. schrieb:
> Ich habe mich gerade belesen und wollte es fix mit einem Testuser und
> Testordner testen. Dazu habe ich folgende Dateien im fraglichen Ordner
> erstellt.
> Leider kam einmal eine Abfrage und seit dem immer wieder
> "Internal Server Error
> The server encountered an internal error or misconfiguration and was
> unable to complete your request."
>
1
AuthType Basic
2
AuthName "Passwortschutz"
3
AuthUserFile /www/test/.htpasswd
4
Require test

Das muß heißen
1
Require user test

Uhu Uhuhu schrieb:
> robots.txt funktioniert nur, wenn der Sauger sie auch beachtet.
> Erzwungen wird da nix.

Richtig. Es gibt aber derzeit (noch) keinen Grund, von einem böswilligen 
Bot auszugehen.

Andreas B. schrieb:
> Ich habe jetzt auch die access-log gefunden und mir den fraglichen
> Zeitraum angeschaut.
> Ich sehe da keine auffällig großen Zugriffe auf die fragliche Datei!

Dein Hoster mäkelt ja auch den Gesamttraffic an. Da mußt du schon eine 
komplette Auswertung machen. Wenn du tatsächlich nicht auf wenigstens 
ungefähr die gleichen Zahlen bekommt, kann auch irgendwas kaputt sein. 
Vielleicht enthält dein access log ja nicht alles. Oder dein Hoster 
zählt irrtümlich fremden Traffic als deinen.

Rede also mit denen. Sag daß du die 300GB nicht nachvollziehen kannst. 
Frag ob sie andere oder bessere Logs haben.

Andreas B. schrieb:
> Es scheinen auch ganz viele Bots/Crawler mit irgendwelchen alten
> Ordnerstrukturen zu kommen. Die greifen auch Ordner zu, die es seit
> Monaten/Jahren nicht mehr gibt. Schon alleine das macht 40% der Zugriffe
> aus...

Ein Grund mehr für die robots.txt. Auch wenn das vielleicht nicht viel 
Volumen ist, aber allein das Rauschen im Log ist störend.


XL

von Andreas B. (loopy83)


Lesenswert?

Ich  habe mir die awstats nochmal genau angeschaut, wo der hohe Traffic 
ja nicht auftaucht.
Im Webinterface hingegen taucht er auf!
Das komische ist, dass zwischen awstats und Webinterface ziemlich genau 
Faktor 23 liegt!

Ich habe gerade die access-log ausgewertet und habe auch ein paar ältere 
log-Dateien geladen. Nach einiger Zeit tauchten im Webinterface 170MB 
FTP-Traffic auf, wobei die Dateien nur ein paar 100kB haben. Da bin ich 
stutzig geworden!

Die Alarmroutine bei denen scheint auf den um Faktor 23 zu hohen Traffic 
zu triggern...

Das sind zwar immer noch über 500 Downloads meines 1GB Hochzeitsvideos 
(angeblich 12TB Traffic),
aber es sind noch ca. 10 Downloads von der 700MB Dabei am WE. Das kann 
schon wieder hinkommen...

Damit ist das Grundrauschen natürlich auch um Faktor 23 kleiner und 
damit wieder viel erträglicher...

Seltsamer Verein!!!!

: Bearbeitet durch User
von Andreas B. (loopy83)


Lesenswert?

Axel Schwenke schrieb:
> Das muß heißen
> Require user test

Funktioniert leider immer noch nicht :(

von Andreas D. (rackandboneman)


Lesenswert?

"In der gesamten access-log vom 26.10. (da habe ich die Datei
hochgeladen) bis heute wird die Datei nur 38mal aufgerufen und mit
Sicherheit nicht immer komplett geladen, weil zwei Zugriffe mit dem
gleichen Gerät kurz hintereinander kommen. Die Hälfte der Zugriffe war
ich selber heute beim rumtesten was da los ist! Selbst 40 mal 700MB sind
keine 300GB!"


Wenn es geht besorg dir alle Logs für den fraglichen Zeitraum und 
arbeite die zB in Excel oder mit awstats auf so dass du konkrete Zahlen 
bekommst... und frag den Hoster was für Dienste ausser HTTP(S?) und FTP 
noch auf dem Server ansprechbar sind, ob und wie Traffic berechnet wird 
der entweder:

-Sturheil versucht geschlossene Ports anzusprechen oder sogar im 
Paketfilter hängenbleibt

-So schwachsinnige Anfragen an den FTP- oder Webserver schickt dass 
dieser sie erst gar nicht als Request ansieht und loggt - zB andauernde 
TCP-Verbindungsanfragen die dann geschlossen werden bevor eine 
tatsächliche HTTP-Anfrage zusammenkommt

Beides wäre ein Anzeichen von Vandalismus-oder Sabotageaktivitäten (DOS) 
dritter gegen diesen Server (die sich wahrscheinlich nicht gegen Dich 
richten sondern gegen zB einen anderen Kunden auf dem selben System, 
oder aber gegen einen ehemaligen Kunden - nur hat der Angreifer noch 
nicht gemerkt dass er ins Leere schiesst).

Bei einem Rootserver würde man als nächstes mit tcpdump oder iptraf 
rangehen - bei einem Webspaceangebot bei dem Du Dir den Server mit 
anderen teilst wird der Provider aber aus guten Gründen den Teufel tun 
Dir den Output solcher Programme auszuhändigen. Aber dadurch wird es 
eigentlich zur Aufgabe des Providers solche Nachforschungen anzustellen.

von Reinhard S. (rezz)


Lesenswert?

Andreas B. schrieb:
> Das komische ist, dass zwischen awstats und Webinterface ziemlich genau
> Faktor 23 liegt!

Da stecken SIE dahinter!

von Andreas D. (rackandboneman)


Lesenswert?

Dann überprüfe bitte genau was aus FTP-Sicht auf dem Server ist und 
ändere das FTP-Passwort so oder so statim!

von Mike J. (linuxmint_user)


Lesenswert?

Deine ".htaccess" könntest du etwas anpassen.

Mein Vorschlag:
1
Options -Indexes
2
order deny,allow
3
deny from google.de google.com

Du solltest deine Seite mit einem Passwort sichern damit nur Freunde 
deine Daten runterladen können.

Es ist möglich dass andere Menschen im Netz nach Seiten suchen die ihren 
monatlichen Traffic nur zum ganz kleinen Teil ausnutzen und ihre eigenen 
Dateien auf dem Server speichern.

Vielleicht hat das auch nichts mit deiner Webseite zu tun, sondern mit 
dem Server der Firma. Wenn der Server eine Schwachstelle aufweist und 
von andren mitbenutzt wird, dann muss der zusätzliche Traffic etwas 
verschleiert werden, also wird der Traffic den vorhandenen Nutzerkonten 
angedichtet und der Server-Admin merkt davon nichts da alles erklärbar 
ist.

von Jens K. (hardware_freak)


Lesenswert?

Hallo,

also egal ob viel Traffic oder nicht, ein Passwortschutz via .htaccess 
o.ä. bei privaten Dateien sollte man immer haben. Man lässt ja auch 
nicht seine Wohnungstür den ganzen Tag offen...

Wenn der Traffic nicht in deiner access.log zu finden ist gibt es nur 2 
Möglichkeiten, entweder er ist über FTP entstanden, sofern das Interface 
des Hosters FTP und HTTP(S) Traffic zusammenrechnet, oder der Hoster hat 
irgendwo ordentlich Mist gebaut.

Da ich auch beruflich viel mit der Administration von Servern zutun 
habe, ist mir da schon so einiges begegnet ... Zum Beispiel fehlerhafte 
Bots, die versuchen Datei xyz anzuschauen, sich dabei aufhängen und das 
ganze wiederholen, so hatte ich mal auf meinem Server innerhalb von 24 
Stunden 100GB, was kein Problem ist, aber erstmal etwas überraschend 
war.

Aber der Hoster scheint mir ja etwas dubios zu sein... Denn 12 TB in 24 
Stunden, dass sollte nicht möglich sein, bei einer 100MBit Anbindung 
schafft man nen gutes TerraByte pro Tag (24Stunden). Mehr sollte dem 
Kunden bei einem Webspace auch nicht zur Verfügung stehen.

Von welchem Hoster reden wir denn hier? (Sollte ja nicht verboten sein, 
dass zu sagen...)

von Uhu U. (uhu)


Lesenswert?

Jens K. schrieb:
> TerraByte

Was ist das denn? Ein Erd-Byte?

von Simon K. (simon) Benutzerseite


Lesenswert?

Reinhard S. schrieb:
> Andreas B. schrieb:
>> Das komische ist, dass zwischen awstats und Webinterface ziemlich genau
>> Faktor 23 liegt!
>
> Da stecken SIE dahinter!

Die Illuminaten?

von J.-u. G. (juwe)


Lesenswert?

Jens K. schrieb:
> Von welchem Hoster reden wir denn hier? (Sollte ja nicht verboten sein,
> dass zu sagen...)

Wurde im ersten Satz genannt:
> Hallo zusammen,
>
> Ich besitze eine Domain und den dazugehörigen Webspace, der bei
> all-inclusive-webspace gehostet wird.

von Jens K. (hardware_freak)


Lesenswert?

Oh, habe ich so halb überlesen, habe nicht damit gerechnet, dass sich so 
ein Hoster nennt. Wenn man sich die Website so anguckt, wirkt es nicht 
sonderlich dolle...

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.