Wie kann Google gesperrte Webseiten lesen??

Gast #7038031
Wenn ich mit Google nach diesem Text "Ostermontag rollt der erste Zug 
über die Bahnumfahrung" suche, dann findet es als erstes zwei Links, die 
diesen Text enthalten. In seiner Vorschau zeigt Google diesen Text an, 
wie er offensichtlich auf den beiden Webseiten steht.

Wenn ich aber diese beiden Webseiten aus den Google Suchergebnissen

https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwifsdm3lJ33AhXC0aQKHSkaDeMQFnoECAwQAQ&url=https%3A%2F%2Fwww.nwzonline.de%2Fplus-friesland%2Fsande-wilhelmshaven-bahnausbau-mehr-als-750-pfaehle-halten-galerie-stabil_a_51%2C6%2C4236364176.html&usg=AOvVaw1O3Vli1f3kBkQYwCK219gE

https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&ved=2ahUKEwifsdm3lJ33AhXC0aQKHSkaDeMQFnoECAwQAQ&url=https%3A%2F%2Fwww.nwzonline.de%2Fplus-friesland%2Fsande-wilhelmshaven-bahnausbau-mehr-als-750-pfaehle-halten-galerie-stabil_a_51%2C6%2C4236364176.html&usg=AOvVaw1O3Vli1f3kBkQYwCK219gE

aufrufe, zeigen die Seiten nur eine Überschrift. Der restliche Text ist 
gesperrt und nur durch ein Abonnement zu lesen. Der von Google zitierte 
Text steht nicht in der Überschrift und wird mir nicht angezeigt. Er 
muss also demnach im gesperrten Teil vorkommen. Wie kann Google den 
trotzdem sichtbar machen?
Gast #7038080
Der Server von der Zeitung bekommt vom Browser die 
Benutzeragentenkennung, IP-Addresse und kann damit vergleichen obs ein 
Google-Bot ist oder ein normaler Benutzer.

Der Google-Bot bekommt den ganzen Text um Neukunden "anzufüttern" daß 
die in den Suchergebnissen sehen was es nach Abo-Zahlung zu lesen gibt.
Gast #7038087
Gouda schrieb:
> Der von Google zitierte
> Text steht nicht in der Überschrift und wird mir nicht angezeigt.

Habe auch schon erlebt, dass im Text (wenn man jemanden kennt, der ein 
Abo hat) was ganz anderes stand, d.h. das Gegenteil.
Gast #7038088
Evtl. wird erst die ganze Seite geliefert und DANN erst die Daten usw. 
verglichen? In dieser Zeit hat G* schon alles maschinell erfasst. Bei 
einem langsamen PC sieht man erst die ganze Seite und etwas später 
kommen die hinderlichen Fenster durch diverse Funktionen.

"smart_button_validation_error_expected_intent_subscription Object { 
intent: "capture", timestamp: "1650272876194", referer: 
"www.paypal.com", sdkCorrelationID: "f1005126ac5ba", sessionID: 
"uid_12e84b94da_mdk6mdc6xyz", clientID: ..."
#7038089
Im Firefox mal das Plugin User Agent Switcher installieren.
In diesen dann die Kennung eines Bot einstellen und dann nochmal 
versuchen die Seite aufzurufen.
Falls das nicht funktioniert, dann mal den Browsercache leeren und die 
Cookies löschen.
Gast #7038097
Mark S. schrieb:

> Gut zu wissen. Spricht massiv gegen die Nutzung dieser Suchmaschine.

Das ist doch nicht die Schuld von Google. Das ist die Schuld der 
Seitenbetreiber. Die (und nicht google) sorgen dafür, dass der 
google-Bot den Inhalt zu sehen bekommt, der für den Normal-Aufrufer 
hinter einer Paywall versteckt ist.

Übrigens sind viele Seiten ziemlich primitiv konstruiert. Die Chancen 
stehen recht gut, dass man mit abgeschaltetetem JavaScript die 
gewünschten Inhalte zu sehen bekommt. Allerdings ist es mindestens 
genauso wahrscheinlich, dass man einfach nur eine leere oder fast leere 
Seite zu sehen bekommt.
Gast #7038106
Mark S. schrieb:
> Gut zu wissen. Spricht massiv gegen die Nutzung dieser Suchmaschine.

Nö eher gegen den der die Webseite bereit stellt. Dem komm es ganz 
offensichtlich nur auf den schnöden Mammon an und dazu scheint jedes 
Mittel recht zu sein.
#7038136
Schaut euch doch einfach mal den Seitenquelltext an, anstatt wild zu 
spekulieren.
Darin findet sich folgender Eintrag:

<meta name="description" content="Die Arbeiten an der Bahnumfahrung 
Sande stehen kurz vor dem Abschluss: Am Ostermontag, 18. April, rollt 
der erste Zug &amp;uuml;ber die Bahnumfahrung          ..."/>

Also keine Sonderzugriffsrechte für Google, sondern einfach eine von der 
Web-Software eingebaute Kurzbeschreibung.

Gruß,
Bernd
Gast #7038680
A-Freak schrieb:
> Der Google-Bot bekommt den ganzen Text um Neukunden "anzufüttern" daß
> die in den Suchergebnissen sehen was es nach Abo-Zahlung zu lesen gibt.

Hmh, wenn der Text verborgen werden soll, dann ist es eine schlechte 
Idee, ihn Google zu geben. Denn das veröffentlicht ihn in seinem Cache, 
wo ihn jeder lesen kann. Beim Schreiben des Ursprungspostings wusste ich 
das noch nicht und bin jetzt zufällig drüber gestolpert.
Gast #7038912
Markus schrieb:
> https://github.com/iamadamdev/bypass-paywalls-chrome

Ich frage mich immer wieder, was solch ein Hinweis auf eine Github-Seite 
sagen will. Bei der dort vorgefundenen Auswahl an Links, die mit "Code, 
Issues, Pull requests, Actions, Projects, Security, Insights, Fork, 
Master, Branch, Test" betitelt sind, weiß man als Normal-Sterblicher mit 
Englischkenntnissen nicht, wohin man jetzt klicken soll.

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 4 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.