Python Web Scraping: Interaktiver Link / Button

Dirac I. schrieb:

wie könnte man mit Python von der Seite https://www.onvista.de/index/einzelwerte/S-P-500-Index-4359526 die Aktien des Aktienindex S&P500 auslesen? Die erste Seite mit den ersten x Aktien sind kein Problem, aber wie kommt man auf die zweite bis elfte Seite?

Wenn Du mit Aktien $reich werden willst -- welch originelle Idee! -- dann solltest Du Dir einen Anbieter suchen, der Dir die aktuellen(!) Daten zur Verfügung stellt, zum Beispiel per REST-API. Viele Anbieter stellen ihre Daten gegen Einwurf kleiner Münzen gerne zur Verfügung. HTH, YMMV, SCNR.

Mach die Seite mal mit dem Browser auf, öffne die Entwickler-Konsole, und schau dir die Requests an, die da per XHR gemacht werden.

Da ist einer dabei, auf 'api.onvista.de/constituents', Aufruf-Parameter u.A. "page=1, perPage=50" der ein schönes JSON-Array mit 50 Einträgen ausspuckt, mit allen Daten die du dir wünschen könntest, und noch viel mehr...

Hab die Daten des ersten Eintrags auf der zweiten Seite mal teilweise aufgeklappt, sh. Screenshot, und die Rohdaten der Seite auch angehängt.

d.H.: Mach dir nicht zuviel Arbeit mit dem Scraping aus dem HTML, greif die Daten direkt an der Quelle ab.

Mein bescheidener Senf dazu via bash, da ich auch an sowas Interesse habe.

1

for i in `seq 1 1 9` 

2

do curl -s -o tmp_${i}.json 'https://api.onvista.de/api/v2/indices/4359526/constituents?order=ASC&page='${i}'&perPage=50&pricePerformanceType=INTRADAY&sort=NAME' 

3

sleep 1 

4

done

5

6

Beispiel

7

8

cat tmp_1.json | jq -r '."list"[]."instrument"."urls"."WEBSITE"'

Markus

Markus W. schrieb:

[pre] for i in seq 1 1 9 do curl -s -o tmp_${i}.json 'https://api.onvista.de/api/v2/indices/4359526/constituents?order=ASC&page='${i}'&perPage=50&pricePerformanceType=INTRADAY&sort=NAME' sleep 1 done

Nice: der Erste weist darauf hin, dass die Kinder der Entwickler bei Onvista hungern müssen. Wenn deren Daten geklaut werden, der nächste gibt Hinweise, wie der Api-Aufruf zum Klauen aussieht. Und der Dritte zeigt das dann gleich en Detail in grausigem Bash-Code. Die Daten sind dann zwar laut Aussage von Nr. 1 nicht aktuell, aber egal.

Ihr seid super, Leute, genau mein Humor!

@Ein T.:

vielen Dank für den Hinweis. Ich werde mir die Alternativen mal anschauen.

@ Ernst und Markus:

Vielen Dank für die Hilfe! :-) Ich kann euch leider nicht folgen, wie genau ihr auf api.onvista gekommen seid. Ich habe in Mozilla, Edge und Chrome die Entwicklerkonsole auf der Seite gestartet, habe aber unter "Elemente" / "Konsole" / "Debugger" / "Quellen" die API nicht gefunden. Wo genau habt ihr den Link her?

Danke nochmal und viele Grüße

@Dirac I.,

beim Firefox z.B. die F12 Taste zum Aufruf der DevTools starten. Reiter Network wählen. Seite neu Laden

1

https://www.onvista.de/index/einzelwerte/S-P-500-Index-4359526

und im Tab die Zeile mit dem Request 'quote_list' (Spalte File) an den Server anklicken. Auf der rechten Seite im Fenster im Tab Headers, siehst Du den

1

https://api.onvista.de/api/v1/instruments/quote_list

API Link neben Options.

Markus

Super, hab's gefunden. :-)

Vielen Dank für die Hilfe!

Viele Grüße

Dirac

Εrnst B. schrieb:

Da ist einer dabei, auf 'api.onvista.de/constituents', Aufruf-Parameter u.A. "page=1, perPage=50" der ein schönes JSON-Array mit 50 Einträgen ausspuckt, mit allen Daten die du dir wünschen könntest, und noch viel mehr...

Statt die Seiten einzeln zu scannen, könnte es sich lohnen den PerPage auf 500 zu setzten, dann gibt es vielleicht alles auf einmal.