Hallo zusammen, Ich besitze eine Domain und den dazugehörigen Webspace, der bei all-inclusive-webspace gehostet wird. Dort liegen überwiegend alte Fotoalben (html Seiten), die ich dem Freundeskreis zur Verfügung stelle. Üblicherweise gehe ich so vor: - ich lade ein Video oder eine Bildersammlung auf den Webspace (.zip Archive), um sie den beteiligten Freunden zur Verfügung zu stellen - die Archive sind 700MB - 1GB groß - innerhalb von ein paar Tagen laden sich meine Freunde (5-10 Leute) die Datei runter - danach lösche ich die Datei wieder Jetzt hatte ich schon zwei Mal folgendes Problem: - Im September habe ich ein 1GB großes Hochzeitsvideo hochgeladen, um es den Hochzeitsgästen zur Verfügung zu stellen - innerhalb von 3 Tagen war meine Domain gesperrt, weil 12TB (!) Traffic verursacht wurden - vergangenen Sonntag habe ich eine 700MB große .zip Datei hochgeladen, die Bilder vom Wochenende enthalten hat - gestern wurde meine Domain wieder gesperrt, weil 300GB Traffic verursacht wurden Das ganze sieht dann so aus wie im Anhang! Im ersten Fall bestand der Nutzerkreis vielleicht aus 15 Personen. Im zweiten Fall waren es 3-4 Personen, die es laden sollten. In jedem Fall nicht genug, um 12TB (!) Daten zu erreichen! Nach dem zweiten Fall droht mir der Hoster nun mit der Kündigung, die ich noch abwenden konnte. Aber beim nächsten Mal ist es dann soweit... Ich habe den Link zu den Archiven immer direkt im Format http://domain.de/ordner/datei.zip per Whatsapp verschickt. Ich habe es also in keinem öffentlichen Forum oder sonst wo gepostet! Allerdings habe ich auch keine Authentifizierung angehängt, weil ich nicht weiß, wie ich das über http realisieren kann. Auffallend ist auch, dass ich immer so ein Grundrauschen von 100-1000MB habe. Dabei liegen auf dem Server und der Website vielleicht 1000-2000 stark komprimierte Bilder in einem html-Fotoalbum, die keinen interessieren dürften und mein Freundeskreis vielleicht 1-2 mal im Jahr in alten Erinnerungen schwelgen will :) Wird das Grundrauschen durch irgendwelche Scan-Bots verursacht? Auch auffallend ist, dass der extrem hohe Traffic vom Web aus verursacht wurde. Direkten Zugang zum FTP scheint also keiner zu haben, um diesen zu mißbrauchen. Das Passwort habe ich natürlich jedes Mal sofort geändert! Wer hat eine Vermutung, woher der extreme Traffic kommen kann, kurz nachdem ich größere Dateien hochgeladen habe? Scannen da 1000 Firmen 24/7 das komplette Netz und laden alles 1000fach runter, was man findet? Wer macht da ein Backup vom Internet? all-inclusive-webspace meinte übrigens, dass es meine Schuld ist, wenn ich einen Link irgendwo poste und der dann immer wieder und wieder gepostet wird. Wahrscheinlich gehen sie davon aus, dass ich irgendwelche Filme zum Download anbiete und es dann in irgendwelchen einschlägigen Foren poste... was ja auch nachvollziehbar ist, aber nun mal nicht zutrifft. Mehr konnten sie mir nicht sagen oder helfen, außer die Kündigung noch einmal auszusetzen. Mir wird nur eine fertige aufbereitete Zugriffsstatistik angeboten und dort taucht der ausschlaggebende Traffic nicht mal auf Dort sehe ich nur das Grundrauschen und den nachvollziehbaren Traffic via FTP etc. Hat wer eine Idee? Wie kann ich mich dagegen schützen, ohne auf Dropbox etc. auszuweichen? Vielen Dank! Andi
:
Bearbeitet durch User
Andreas B. schrieb: > Ich habe es also in keinem öffentlichen Forum oder sonst wo gepostet! Doch bei WhatsApp... ;-) Gerüchteweise sollen diverse Anbieter URLs auf "bösen content" scannen... richte doch einfach eine htaccess rule ein und gut ist. Und dann gibt es noch die User die sich Dinge nicht speichern sondern jedes mal neu abrufen.. Flatrate sei dank.
Hast du keine Logs (access_log)? Wenn nein, frag mal beim Hoster nach welchen. So ist das eigentlich nur raten.
Andreas B. schrieb: > Hat wer eine Idee? > Wie kann ich mich dagegen schützen, ohne auf Dropbox etc. auszuweichen? 1. robots.txt anlegen, alle Crawler aussperren 2. für das Verzeichnis, das deine Dateien enthält, das automatische Erzeugen eines Inhaltsverzeichnisses abschalten. Im einfachsten Fall eine leere index.html da hin legen Wenn jetzt immer noch Zugriffe von Dritten stattfinden, dann leakt die per Whatsapp verteilte URL. Ich würde ja soweieso kein Whatsapp verwenden um private URLs zu verteilen, sondern verschlüsselte Email. Falls du dann trotzdem bei Whatsapp bleiben willst, bleibt dir nur noch für den Downloadbereich HTTP-Authentication zu erzwingen. Wenn dein Hoster Apache verwendet, dann z.B. in einer .htaccess Datei. Für das public Verzeichnis in meinem Webspace sieht das so aus (die .htaccess schaltet die Authentication aus, die ansonsten in der httpd.conf schon aktiviert ist; robots.txt erlaubt wget und sonst nix)
1 | $ ls -la www/main/public/ |
2 | -rw-r--r-- 1 axel axel 27 Jul 4 2012 .htaccess |
3 | -rw-r--r-- 1 axel axel 0 Jul 4 2012 index.html |
4 | -rw-r--r-- 1 axel axel 54 Aug 30 2011 robots.txt |
5 | ... |
6 | |
7 | cat www/main/public/robots.txt |
8 | User-agent: wget |
9 | Disallow: |
10 | |
11 | User-agent: * |
12 | Disallow: / |
13 | |
14 | $ cat www/main/public/.htaccess |
15 | Satisfy Any |
16 | Allow from all |
Für ein Verzeichnis das nur der Familie zugänglich sein soll:
1 | $ cat www/main/familie/.htaccess |
2 | Require user ich mama papa oma |
Siehe: https://httpd.apache.org/docs/2.2/howto/htaccess.html#auth XL
"Mir wird nur eine fertige aufbereitete Zugriffsstatistik angeboten und dort taucht der ausschlaggebende Traffic nicht mal auf Dort sehe ich nur das Grundrauschen und den nachvollziehbaren Traffic via FTP etc." Da hast Du ein Argument gegenüber dem Anbieter dass Du eben keine Verantwortung für diesen Traffic übernehmen kannst ... ich gehe mal davon aus dass diese Zugriffstatistik Zugriffe erfassen würde welche Du durch Massnahmen die in deiner Machst stehen (Links posten oder nicht posten etc) verursachen könntest. Bitte den Anbieter doch um ein access-Log zum selber auswerten, und jag es durch ein Tool wie zB awstats. Und dann ist der Fall klar - entweder ist es tatsächlich HTTP (oder FTP)-Traffic den du unter Kontrolle bringen musst, oder etwas anderes dass nicht in deinem Verantwortungsbereich liegen KANN wenn es kein Rootserver ist. Oder hast Du irgendwelche Anwendungen (PHP/CGI/....) dort installiert die ggf selber (ausgehenden) Traffic verursachen? Vergiss auch nicht dass abgelehnte Zugriffsversuche durchaus auch als Traffic gewertet werden können - wenn das aber HTTP ist sollte dies auch in Logs uns Statistiken auftauchen. Wenn natürlich irgendjemand blinden Störtraffic auf die entsprechende IP schickt und dein Anbieter diesen trotzdem als Traffic wertet...
Hallo zusammen, Läubi .. schrieb: > Und dann gibt es noch die User die sich Dinge nicht speichern sondern > jedes mal neu abrufen.. Flatrate sei dank. Bei 12TB Traffic hätte alle Empfänger der URL dann zusammen die Datei 12000 herunterladen müssen... sehr unwahrscheinlich :) K. Laus schrieb: > Hast du keine Logs (access_log)? Wenn nein, frag mal beim Hoster nach > welchen. So ist das eigentlich nur raten. Ich habe leider keinen Zugriff auf die access_log, werde ich aber mal erfragen. Vielen Dank! Axel Schwenke schrieb: > 1. robots.txt anlegen, alle Crawler aussperren Vielen Dank für den Hinweis! Ich habe eine robots.txt im Wurzelverzeichnis mit folgendem Inhalt erstellt:
1 | User-agent: * |
2 | Disallow: / |
Axel Schwenke schrieb: > 2. für das Verzeichnis, das deine Dateien enthält, das automatische > Erzeugen eines Inhaltsverzeichnisses abschalten. Im einfachsten Fall > eine leere index.html da hin legen Vielen Dank für den Hinweis! Ich habe eine leere index.html im fraglichen Ordner erstellt. Axel Schwenke schrieb: > Falls du dann trotzdem bei Whatsapp bleiben willst, bleibt dir nur noch > für den Downloadbereich HTTP-Authentication zu erzwingen. Wenn dein > Hoster Apache verwendet, dann z.B. in einer .htaccess Datei. Vielen Dank für den Hinweis! Ich habe mich gerade belesen und wollte es fix mit einem Testuser und Testordner testen. Dazu habe ich folgende Dateien im fraglichen Ordner erstellt. Leider kam einmal eine Abfrage und seit dem immer wieder "Internal Server Error The server encountered an internal error or misconfiguration and was unable to complete your request." .htaccess
1 | AuthType Basic |
2 | AuthName "Passwortschutz" |
3 | AuthUserFile /www/test/.htpasswd |
4 | Require test |
.htpasswd
1 | test:$apr1$JsMUc6hI$pGy6Adx223fBiSRrnRcG0/ |
Andy D. schrieb: > Oder hast Du irgendwelche Anwendungen (PHP/CGI/....) dort installiert > die ggf selber (ausgehenden) Traffic verursachen? Ich hatte vor 3-4 Jahren mal ein phpbb Forum laufen, aber alle Datenbanken, dazugehörige Dateien etc. habe ich schon gelöscht. Es sind also nur Bilder, das dazugehörige html-Fotoalbum und ein paar einzelne Dateien vorhanden. Keine Scripte, CMS. oder sonst was... Vielen Dank für die schnelle Hilfe! Andi
Axel Schwenke schrieb: > robots.txt erlaubt wget und sonst nix) robots.txt funktioniert nur, wenn der Sauger sie auch beachtet. Erzwungen wird da nix.
Ich habe jetzt auch die access-log gefunden und mir den fraglichen Zeitraum angeschaut. Ich sehe da keine auffällig großen Zugriffe auf die fragliche Datei! In der gesamten access-log vom 26.10. (da habe ich die Datei hochgeladen) bis heute wird die Datei nur 38mal aufgerufen und mit Sicherheit nicht immer komplett geladen, weil zwei Zugriffe mit dem gleichen Gerät kurz hintereinander kommen. Die Hälfte der Zugriffe war ich selber heute beim rumtesten was da los ist! Selbst 40 mal 700MB sind keine 300GB! Kann ich die access-log irgendwie auswerten lassen? awstats gibt es ja, aber kann ich das auch irgendwie live online machen, ohne irgendwelche Installationen? Wobei mir die access-log ja auch keinen Traffic anzeigt... Alles nicht so einfach! Es scheinen auch ganz viele Bots/Crawler mit irgendwelchen alten Ordnerstrukturen zu kommen. Die greifen auch Ordner zu, die es seit Monaten/Jahren nicht mehr gibt. Schon alleine das macht 40% der Zugriffe aus...
:
Bearbeitet durch User
Andreas B. schrieb: > Ich habe mich gerade belesen und wollte es fix mit einem Testuser und > Testordner testen. Dazu habe ich folgende Dateien im fraglichen Ordner > erstellt. > Leider kam einmal eine Abfrage und seit dem immer wieder > "Internal Server Error > The server encountered an internal error or misconfiguration and was > unable to complete your request." >
1 | AuthType Basic |
2 | AuthName "Passwortschutz" |
3 | AuthUserFile /www/test/.htpasswd |
4 | Require test |
Das muß heißen
1 | Require user test |
Uhu Uhuhu schrieb: > robots.txt funktioniert nur, wenn der Sauger sie auch beachtet. > Erzwungen wird da nix. Richtig. Es gibt aber derzeit (noch) keinen Grund, von einem böswilligen Bot auszugehen. Andreas B. schrieb: > Ich habe jetzt auch die access-log gefunden und mir den fraglichen > Zeitraum angeschaut. > Ich sehe da keine auffällig großen Zugriffe auf die fragliche Datei! Dein Hoster mäkelt ja auch den Gesamttraffic an. Da mußt du schon eine komplette Auswertung machen. Wenn du tatsächlich nicht auf wenigstens ungefähr die gleichen Zahlen bekommt, kann auch irgendwas kaputt sein. Vielleicht enthält dein access log ja nicht alles. Oder dein Hoster zählt irrtümlich fremden Traffic als deinen. Rede also mit denen. Sag daß du die 300GB nicht nachvollziehen kannst. Frag ob sie andere oder bessere Logs haben. Andreas B. schrieb: > Es scheinen auch ganz viele Bots/Crawler mit irgendwelchen alten > Ordnerstrukturen zu kommen. Die greifen auch Ordner zu, die es seit > Monaten/Jahren nicht mehr gibt. Schon alleine das macht 40% der Zugriffe > aus... Ein Grund mehr für die robots.txt. Auch wenn das vielleicht nicht viel Volumen ist, aber allein das Rauschen im Log ist störend. XL
Ich habe mir die awstats nochmal genau angeschaut, wo der hohe Traffic ja nicht auftaucht. Im Webinterface hingegen taucht er auf! Das komische ist, dass zwischen awstats und Webinterface ziemlich genau Faktor 23 liegt! Ich habe gerade die access-log ausgewertet und habe auch ein paar ältere log-Dateien geladen. Nach einiger Zeit tauchten im Webinterface 170MB FTP-Traffic auf, wobei die Dateien nur ein paar 100kB haben. Da bin ich stutzig geworden! Die Alarmroutine bei denen scheint auf den um Faktor 23 zu hohen Traffic zu triggern... Das sind zwar immer noch über 500 Downloads meines 1GB Hochzeitsvideos (angeblich 12TB Traffic), aber es sind noch ca. 10 Downloads von der 700MB Dabei am WE. Das kann schon wieder hinkommen... Damit ist das Grundrauschen natürlich auch um Faktor 23 kleiner und damit wieder viel erträglicher... Seltsamer Verein!!!!
:
Bearbeitet durch User
"In der gesamten access-log vom 26.10. (da habe ich die Datei hochgeladen) bis heute wird die Datei nur 38mal aufgerufen und mit Sicherheit nicht immer komplett geladen, weil zwei Zugriffe mit dem gleichen Gerät kurz hintereinander kommen. Die Hälfte der Zugriffe war ich selber heute beim rumtesten was da los ist! Selbst 40 mal 700MB sind keine 300GB!" Wenn es geht besorg dir alle Logs für den fraglichen Zeitraum und arbeite die zB in Excel oder mit awstats auf so dass du konkrete Zahlen bekommst... und frag den Hoster was für Dienste ausser HTTP(S?) und FTP noch auf dem Server ansprechbar sind, ob und wie Traffic berechnet wird der entweder: -Sturheil versucht geschlossene Ports anzusprechen oder sogar im Paketfilter hängenbleibt -So schwachsinnige Anfragen an den FTP- oder Webserver schickt dass dieser sie erst gar nicht als Request ansieht und loggt - zB andauernde TCP-Verbindungsanfragen die dann geschlossen werden bevor eine tatsächliche HTTP-Anfrage zusammenkommt Beides wäre ein Anzeichen von Vandalismus-oder Sabotageaktivitäten (DOS) dritter gegen diesen Server (die sich wahrscheinlich nicht gegen Dich richten sondern gegen zB einen anderen Kunden auf dem selben System, oder aber gegen einen ehemaligen Kunden - nur hat der Angreifer noch nicht gemerkt dass er ins Leere schiesst). Bei einem Rootserver würde man als nächstes mit tcpdump oder iptraf rangehen - bei einem Webspaceangebot bei dem Du Dir den Server mit anderen teilst wird der Provider aber aus guten Gründen den Teufel tun Dir den Output solcher Programme auszuhändigen. Aber dadurch wird es eigentlich zur Aufgabe des Providers solche Nachforschungen anzustellen.
Andreas B. schrieb: > Das komische ist, dass zwischen awstats und Webinterface ziemlich genau > Faktor 23 liegt! Da stecken SIE dahinter!
Dann überprüfe bitte genau was aus FTP-Sicht auf dem Server ist und ändere das FTP-Passwort so oder so statim!
Deine ".htaccess" könntest du etwas anpassen. Mein Vorschlag:
1 | Options -Indexes |
2 | order deny,allow |
3 | deny from google.de google.com |
Du solltest deine Seite mit einem Passwort sichern damit nur Freunde deine Daten runterladen können. Es ist möglich dass andere Menschen im Netz nach Seiten suchen die ihren monatlichen Traffic nur zum ganz kleinen Teil ausnutzen und ihre eigenen Dateien auf dem Server speichern. Vielleicht hat das auch nichts mit deiner Webseite zu tun, sondern mit dem Server der Firma. Wenn der Server eine Schwachstelle aufweist und von andren mitbenutzt wird, dann muss der zusätzliche Traffic etwas verschleiert werden, also wird der Traffic den vorhandenen Nutzerkonten angedichtet und der Server-Admin merkt davon nichts da alles erklärbar ist.
Hallo, also egal ob viel Traffic oder nicht, ein Passwortschutz via .htaccess o.ä. bei privaten Dateien sollte man immer haben. Man lässt ja auch nicht seine Wohnungstür den ganzen Tag offen... Wenn der Traffic nicht in deiner access.log zu finden ist gibt es nur 2 Möglichkeiten, entweder er ist über FTP entstanden, sofern das Interface des Hosters FTP und HTTP(S) Traffic zusammenrechnet, oder der Hoster hat irgendwo ordentlich Mist gebaut. Da ich auch beruflich viel mit der Administration von Servern zutun habe, ist mir da schon so einiges begegnet ... Zum Beispiel fehlerhafte Bots, die versuchen Datei xyz anzuschauen, sich dabei aufhängen und das ganze wiederholen, so hatte ich mal auf meinem Server innerhalb von 24 Stunden 100GB, was kein Problem ist, aber erstmal etwas überraschend war. Aber der Hoster scheint mir ja etwas dubios zu sein... Denn 12 TB in 24 Stunden, dass sollte nicht möglich sein, bei einer 100MBit Anbindung schafft man nen gutes TerraByte pro Tag (24Stunden). Mehr sollte dem Kunden bei einem Webspace auch nicht zur Verfügung stehen. Von welchem Hoster reden wir denn hier? (Sollte ja nicht verboten sein, dass zu sagen...)
Reinhard S. schrieb: > Andreas B. schrieb: >> Das komische ist, dass zwischen awstats und Webinterface ziemlich genau >> Faktor 23 liegt! > > Da stecken SIE dahinter! Die Illuminaten?
Jens K. schrieb: > Von welchem Hoster reden wir denn hier? (Sollte ja nicht verboten sein, > dass zu sagen...) Wurde im ersten Satz genannt: > Hallo zusammen, > > Ich besitze eine Domain und den dazugehörigen Webspace, der bei > all-inclusive-webspace gehostet wird.
Oh, habe ich so halb überlesen, habe nicht damit gerechnet, dass sich so ein Hoster nennt. Wenn man sich die Website so anguckt, wirkt es nicht sonderlich dolle...
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.