www.mikrocontroller.net

Forum: Offtopic WebCrawling legal?


Autor: Christian Hunke (thunder2002) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ich entwickle eine Bauteilverwaltung mit einigen Features die ich sonst 
noch nirgends finden konnte. Bei der ganzen Sache sind für mir auch 
Crawlerdienste sehr wichtig. Diese sollen mir die Preise und Daten von 
vielen verschiedenen Shops zusammensuchen wie Farnell, Reichelt, 
DigiKey, Mouser etc. Einige davon laufen provisorisch als PHP Script 
auch bereits erfolgreich. Da ich jedoch noch einiges mehr an Arbeitsmühe 
investieren möchte, würde ich das Projekt gerne auch veröffentlichen.

Dabei ist nun die Frage aufgekommen ob das Crawling der Shops eigentlich 
legal ist, schließlich produziert es nicht unerheblichen Traffic. Wenn 
nur ich das mache geht das in der Masse eh unter, jedoch wenn es mehr 
Leute nutzen vielleicht nicht mehr. Die Frage ist nun, ist es generell 
Legal? Ist nur die Verwendung eines Crawlers vielleicht illegal oder 
auch das Erstellen? Ich weiss es gibt diverse OpenSource Crawler für 
Websites im Allgemeinen, aber OS kratzt ja öfter auch mal an den Grenzen 
der Legalität (z.B. VLC und Co.).

Wenn sich hier jemand auskennt wäre ich sehr dankbar für eine Antwort :)

Autor: Julian W. (julian-w) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
ABO

Ich habe etwa sehr ähnliches vor und hab vor dem gleichen Problem 
gestanden. Meine Idee war es dann, dass NUR ICH die Seiten bei Bedarf 
crawle und die Preise zentral auf meinem Server ablege, von wo aus sie 
die Benutzer abfragen können.
In wie weit das rechtlich in Ordnung ist und ich nicht in 
Schwierigkeiten komme (z.B: wegen falscher Preise), weiß ich aber auch 
noch nicht...

Autor: Christian Hunke (thunder2002) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Julian W. schrieb:
> In wie weit das rechtlich in Ordnung ist und ich nicht in
> Schwierigkeiten komme (z.B: wegen falscher Preise), weiß ich aber auch
> noch nicht...

Naja das ist denke ich noch das kleinste Problem, muss der Benutzer halt 
eine Meldung bekommen der er explizit zustimmen muss, dass die 
Verwendung der Crawler und seiner Daten ohne Gewehr sind und auf eigene 
"Gefahr" läuft.

Autor: Julian W. (julian-w) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Christian Hunke schrieb:
> Julian W. schrieb:
>> In wie weit das rechtlich in Ordnung ist und ich nicht in
>> Schwierigkeiten komme (z.B: wegen falscher Preise), weiß ich aber auch
>> noch nicht...
>
> Naja das ist denke ich noch das kleinste Problem, muss der Benutzer halt
> eine Meldung bekommen der er explizit zustimmen muss, dass die
> Verwendung der Crawler und seiner Daten ohne Gewehr sind und auf eigene
> "Gefahr" läuft.

Jop, sowas hab ich mir auch schon gedacht. Nur in Deutschland muss man 
da ja immer etwas vorsichtig sein, letztens haben ja auch die 
Preissuchmaschinen eins übergebraten bekommen, wenn sie falsche Preise 
angezeigt haben.

Autor: A. K. (prx)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Wäre crawling illegal müssten Google&Co dichtmachen. AGBs oder 
Webseiten, in denen sowas deutlich lesbar ausgeschlossen würde, lesen 
Googles Crawler auch nicht.

Es gibt aber irgendwelche automatisch lesbaren Kennzeichnungen in 
Webseiten oder im HTTP, die dies explizit ausschliessen. Daran sollte 
man sich dann auch halten.

Man sollte auch höflich vorgehen, und den Server nicht mit solcherart 
automatisch erzeugten Requests überfluten.

Autor: Laszlo H. (mobius)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Die Datei nennt sich robots.txt und die sollte bei crawlen beachtet 
werden. Da steht explicit drin, wer was darf und wer nicht. Wobei, wenn 
man sich vollständig daran hält, hat man zB bei Farnell ein kleines 
Problem, siehe [1]. Da wird allen außer Suchmaschinen ein Crawlen der 
Seite vollständig verboten.

gruß
Mobius

[1] http://at.farnell.com/robots.txt

edit: Hier gibt es alle Infos zu der Datei: 
http://www.robotstxt.org/orig.html

Autor: Sven P. (haku) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Wobei man jetzt natürlich fragen darf, in wie weit diese Anweisungen 
rechtsverbindlich sind.

Aber mit der technischen Natur des Internets sind Politik und Justiz in 
Deutschland ja ohnehin maßlos überfordert.

Autor: A. K. (prx)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Sven P. schrieb:

> Aber mit der technischen Natur des Internets sind Politik und Justiz in
> Deutschland ja ohnehin maßlos überfordert.

Willst du ernsthaft verlangen, dass sich die Politik noch in den 
hinterletzten Winkel mit ausdrücklichen Regelungen einklinkt, etwa ob 
man Eier am dicken oder dünnen Ende aufzuschlagen habe? Willst du 
solcherart entstehende Regalkilometer lesen?

Was solche Themen angeht entsteht das konkrete Recht bzw. dessen 
konkrete Interpretation im Einzelfall eher als Ableitung aus allgemeinen 
Gesetzen auf dem Weg über gerichtliche Auseinandersetzungen. Das ist 
zwar in englisch/amerikanischer Rechtstradition verbreiteter und 
verbindlicher als hierzulande, aber dennoch üblich. Wenn also jemand mal 
gegen einen Crawler klagt.

Autor: Sven P. (haku) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
A. K. schrieb:
> Sven P. schrieb:
>
>> Aber mit der technischen Natur des Internets sind Politik und Justiz in
>> Deutschland ja ohnehin maßlos überfordert.
>
> Willst du ernsthaft verlangen, dass sich die Politik noch in den
> hinterletzten Winkel mit ausdrücklichen Regelungen einklinkt, etwa ob
> man Eier am dicken oder dünnen Ende aufzuschlagen habe? Willst du
> solcherart entstehende Regalkilometer lesen?
Mit Sicherheit nicht.

Ich versuche aber dann auch nicht, mit einer Stricknadel ganze Berge 
wegzupieksen.

Und nicht nur in Deutschland -- Es war einmal... Das Internet:
http://www.nzz.ch/nachrichten/kultur/medien/verlag...

Autor: David ... (volatile)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
http://preview.tinyurl.com/yb2q3dv

"Der Beitrag scheint Spam zu enthalten: "faceb0ok"
Haha, lustig -.-

Autor: Dimitri Roschkowski (Firma: port29 GmbH) (port29) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Julian W. schrieb:
> Jop, sowas hab ich mir auch schon gedacht. Nur in Deutschland muss man
> da ja immer etwas vorsichtig sein, letztens haben ja auch die
> Preissuchmaschinen eins übergebraten bekommen, wenn sie falsche Preise
> angezeigt haben.

Wäre mir ehrlich gesagt neu. Denn die Preissuchmaschinen werden von den 
Seiten mit Daten gespeist. Und die Shops zahlen dafür noch Geld - und 
nicht wenig. => Eigene Erfahrung

Autor: Kluchscheißernder Nixwisser (kluchscheisser)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Dimitri Roschkowski schrieb:
> Julian W. schrieb:
>> Jop, sowas hab ich mir auch schon gedacht. Nur in Deutschland muss man
>> da ja immer etwas vorsichtig sein, letztens haben ja auch die
>> Preissuchmaschinen eins übergebraten bekommen, wenn sie falsche Preise
>> angezeigt haben.
>
> Wäre mir ehrlich gesagt neu. Denn die Preissuchmaschinen werden von den
> Seiten mit Daten gespeist. Und die Shops zahlen dafür noch Geld - und
> nicht wenig. => Eigene Erfahrung

Deshalb sieht man bei den Preissuchmaschinen auch keine wirklichen 
Schnäppchen. Und sie drängeln sich bei Google auch dann vor, wenn sie 
zum Suchbegriff gar nichts anzubieten haben. Das sind Parasiten des 
Internets!

MfG

Autor: Jörg Wunsch (dl8dtl) (Moderator) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Sven P. schrieb:
> Wobei man jetzt natürlich fragen darf, in wie weit diese Anweisungen
> rechtsverbindlich sind.

Sie sind eine Konvention, an die sich offenbar im Großen und Ganzen
vor allem auch die großen "Datenkraken" halten.  Seien wir froh, dass
dem so ist, sonst wäre das Chaos noch größer.

Es verbietet dir doch niemand, dass dein Crawler sich als "psbot"
meldet. ;-)

Autor: Uhu Uhuhu (uhu)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Muß man denn wegen einer einzelnen Teileverwaltung immer gleich die 
gesamte Site eines Anbieters durchcrawlen? Reicht es nicht völlig aus, 
bei Bedarf diejenigen Artikel zu holen, die gerade gebraucht werden?

Autor: Christian Hunke (thunder2002) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Uhu Uhuhu schrieb:
> Muß man denn wegen einer einzelnen Teileverwaltung immer gleich die
> gesamte Site eines Anbieters durchcrawlen? Reicht es nicht völlig aus,
> bei Bedarf diejenigen Artikel zu holen, die gerade gebraucht werden?

Ja so ist das schon gedacht, nur die verwalteten Artikel, aber selbst 
die können ja schnell ein paar hundert bis tausend sein und dann nehmen 
wir mal 5 Shops, 1x Woche crawlen, macht ja immerhin z.B. 5 Shops * 1000 
Artikel * 4,3 Wochen = 21500 Preisanfragen im Monat pro Benutzer. Das 
einmal wöchentlich dient natürlich der Analyse der Preisentwicklung.

Autor: Uhu Uhuhu (uhu)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Und warum fragst du nicht einfach nur die Artikel ab, für die gerade ein 
aktueller Preis gebraucht wird?

Preise für Artikel, die aktuell nicht gebraucht werden, muß man doch 
nicht dauernd aktualisieren.

Eine andere Möglichkeit wäre z.B. beim Zugriff auf den Preis eines 
Artikels in der DB einen Zeitstempel zu aktualisieren und dann nur 
diejenigen Artikel zu aktualisieren, deren Zeitstempel in der nahen 
Vergangenheit liegt.

Autor: Dimitri Roschkowski (Firma: port29 GmbH) (port29) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Wieso crawlst du die Daten nicht zentral, bereitest die auf und stellst 
die deinen Nutzern zur Verfügung?

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail, Yahoo oder Facebook? Keine Anmeldung erforderlich!
Mit Google-Account einloggen | Mit Yahoo-Account einloggen | Mit Facebook-Account einloggen
Noch kein Account? Hier anmelden.