Website download wget bzw. curl

Gast #7199248 
Hallo,
wenn ich mit meinem Webbrowser Firefox eine Website anzeige, so schickt 
ja mein PC eine Anfrage an die Internetseite und ich erhalte vom Server 
der Internetseite eine Antwort und demzufolge wird ja dann im Browser 
die Website angezeigt.
Gehe ich in Firefox auf Website speichern, so wird der Quelltext der 
Website komplett gespeichert.
Gebe ich in Linux wget bzw. curl die Website an, so erhalte ich anstelle 
von 5Mb nur 2 MB Inhalt und wichtige Daten fehlen.
An was liegt das und wie würde der Befehl für wget bzw. curl passen?
Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Langsamer Modus Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Melden Danke
Gast 
Frage schrieb:
> An was liegt das

Die "Webseite" besteht aus zig Dateien, die der Browser alle 
herunterlädt, nachdem er das Hauptdokument geladen hat.

curl bzw. wget laden nur das Hauptdokument, aber da sie es nicht 
analysieren, den ganzen darin referenzierten Krempel nicht.

Ruf mal in Firefox den Menüpunkt

Extras->Browser-Werkzeuge->Werkzeuge für Webentwickler

auf

und wähle dann den Punkt "Netzwerkanalyse". Dann lade Deine angezeigte 
Webseite neu.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
DerEinzigeBernd schrieb:
> curl bzw. wget laden nur das Hauptdokument,

Nee, wget kann alles holen, wenn man es passend aufruft.

Da muß wohl mal jemand die Doku durcharbeiten, etwa 110 kbyte 
ASCII-Text.

Ich denke da an die Ecke:

Recursive Retrieval Options
===========================
`--recursive'
`-l DEPTH'
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
Manfred schrieb:

> Nee, wget kann alles holen, wenn man es passend aufruft.

Das holt auch den ganzen per Javascript dynamisch eingebundenen Krempel? 
Vor zehn, fünfzehn Jahren hätte der "recurse"-Ansatz gereicht, aber 
heute ist ja jeder Scheiß "responsive" …
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
DerEinzigeBernd schrieb:
> Das holt auch den ganzen per Javascript dynamisch eingebundenen Krempel?

"Wget -r -l1 [-x] [-np] <url>" geht auch heute noch sehr gut. Was meinst 
Du mit "dynamisch eingebunden" bzw. "responsive"? Auch die laden ihr JS 
ja üblicherweise über <script>-Tags die wget proböeml8s zugänglich sind.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Gast 
Kiffer schrieb:
> Auch die laden ihr JS
> ja üblicherweise über <script>-Tags die wget proböeml8s zugänglich sind.

Bernd dürfte den Kram meinen, der durch den javascript-Code geladen 
wird. Der ergibt sich eben nicht aus den script-Tags in irgendeiner 
HTML-Datei.
Antwort Zitieren Bearbeiten Löschen Melden Danke
Thread beobachten

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 4 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Dein Name und deine E-Mail-Adresse

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.