Datascraping von Website über Clouddienst

Gast #5200568 
Hallo zusammen.

Dass man Daten von Webseiten scrapen kann, wissen wir ja.
Man wählt z.B. den gewünschten Tag über ein Webtool aus, welches einem 
die relevanten Seiten auf einer Webseite liefert. Der entsprechende 
Pfad/Tag zum gewünschten HTML-Element wird einem dann vom Webtool 
geliefert, womit man dann z.B. über Excel die Daten in eine Zelle 
schreiben lassen kann.

Nun gibt es im Internet einige Tutorials, wie man Daten über einen 
Cloud-Dienst (z.B. Google Spreadsheet) nutzen kann. Durch die Funktion 
"=importXML(url,query)" lassen sich somit in Google Spreadsheet die 
Daten einer Seite scrapen.

Nun geht es um eine Webseite, die ein Anfragenlimit von 5 Anfragen pro 
Minute limitiert. Anhand der eigenen IP-Adresse ermittelt vermutlich die 
besagte Seite, wie oft der User eine Anfrage pro Zeiteinheit abgesetzt 
hat. Ist die Anzahl der zulässigen Abfragen pro Zeiteinheit 
überschritten, kommt die Meldung, dass man eine Minute warten muss um 
wieder Anfragen an die Seite zu schicken.
Anhand der IP-Adresse des Anfragenden ist es ja kein Problem, die 
Anfragen aus Sicht des Seitenbetreibers zu limitieren. Wie aber verhält 
es sich bei Cloud-Diensten? Welche "IP" nehmen die her, wenn ich die 
Daten z.B. über den Google Sheet-Dienst scrape? Holt sich die Seite dann 
eine fiktive IP von Google oder leitet Google meine IP vom ISP an die 
Seite weiter?

Ich hoffe, ich konnte die Frage einleuchtend beschreiben und hoffe auf 
eure Hilfe!

Vielen Dank!
Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Langsamer Modus Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Melden Danke
Gast 
Joh schrieb:
> Wie aber verhält
> es sich bei Cloud-Diensten? Welche "IP" nehmen die her,

die IP woher die anfrage kommt.


>  wenn ich die
> Daten z.B. über den Google Sheet-Dienst scrape?
geht das denn überhaupt? Ich könnte mir vorstellen das sie das gar nicht 
zulassen.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
Die Website mit dem Abfragelimit sieht ja nur die reale IP Adresse des 
Cloud-Dienstes. Wenn der Cloud-Dienst mehrere Benutzer auf den selben 
Server legt, glaubt das Abfragelimit ihr seit nur ein Benutzer.

Im Http-Header gibt es ein X-Forwarded-For. Aber den kann das 
Abfragelimit nicht benutzen. Lässt sich recht einfach fälschen.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
Joh schrieb:
> Welche "IP" nehmen die her, wenn ich die
> Daten z.B. über den Google Sheet-Dienst scrape? Holt sich die Seite dann
> eine fiktive IP von Google oder leitet Google meine IP vom ISP an die
> Seite weiter?

Als Seitenbetreiber sehe ich die IP von dem Cloud-Dienst (hier Google) 
und die ist gar nicht "fiktiv".

Joh schrieb:
> Nun geht es um eine Webseite, die ein Anfragenlimit von 5 Anfragen pro
> Minute limitiert. Anhand der eigenen IP-Adresse ermittelt vermutlich die
> besagte Seite, wie oft der User eine Anfrage pro Zeiteinheit abgesetzt
> hat.

Wenn mir sowas in den Logs öfter auffällt, dann gibts je nach Art 
entweder eine Abuse-Meldung oder ist kante die IP/Range dauerhaft raus 
(htaccess). So ein Limit ist ja nicht zum Spaß eingebaut. Diese 
Datensammler kosten mich nur unnötig Geld und verbrauchen Bandbreite die 
bei richtigen Besuchern dann womöglich fehlt.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Beitrag #5970505 wurde von einem Moderator gelöscht.
Thread beobachten

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 8 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Dein Name und deine E-Mail-Adresse

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.