Automatisch Formulare ausfüllen und Dateien downloaden

OP #4324562
Lesenswert?
• ▲
▼
Hallo

Nachdem ich mit HTTrack nicht zu Lösung komme,
da es nicht in der Lage ist auf Formular Buttons zu klicken,
suche ich einen neuen Weg:

Auf einer Webseite sind Daten zum Download angeboten.
Über ein Formularfeld kann ich im Browser z.b. das Datum und den 
Bereitsteller des Datensatzes auswählen.

Da ich die Datensätze von min. 4 Bereitstellern und davon die Tagesdaten 
eines Jahres benötige,
müsste ich, nach Adam Riese, 1460 mal klicken.

Gibt es eine Software, oder ein Browser Plugin, womit ich dies 
vereinfachen kann?

Danke und Gruß

Kolja
Gast #4324569
Lesenswert?
• ▲
▼
das kommt ganz auf das formular an. wenn die erforderlichen daten 
statisch sind bzw. einfach generiert werden können (z.b. datum), dann 
wäre z.b. bash + curl eine option.
alternativ jede beliebige programmiersprache die sockets unterstützt 
(egal ob c(++|#)?, java, erlang, scala, php, python, ruby oder eine der 
gefühlten million anderern programmiersprachen.

allerdings sind die lösungen immer von den erforderlichen eingabedaten 
(Formular) abhängig...
#4324716
Lesenswert?
• ▲
▼
Es gibt verschiedene Plugins für den FF die ein Remote-Control über TCP 
erlauben, es gibt sogar eine eingebaute Remote Web Console (die man im 
about:config aktivieren muss) die einem erlaubt per TCP zu verbinden und 
dann beliebiges JavaScript im Context des Browsers oder der Webseite 
auszuführen. Damit müsste es möglich sein was zu scripten. Damit kannst 
Du sogar den mobilen Firefox auf dem Handy vom PC aus komplett 
fernsteuern wenn ich das richtig gelesen habe (nicht selber probiert)
Gast #4326325
Lesenswert?
• ▲
▼
Lies Dir mal hier durch und schau nach was die Seite macht:
https://de.wikipedia.org/wiki/Hypertext_Transfer_Protocol#HTTP-Request-Methoden
Im RFC stehen dann noch mehr Details.
Mit wget und passendem Script sollte es gehen.
Gibt's auch für WinXYZ z.B. https://de.wikipedia.org/wiki/Cygwin
Andere Varianten sind ja schon genannt worden.
Man könnte auch den Sourcecode parsen, wahrscheinlich wird da zuviel JS 
drin sein oder gar FLASH ...
#4329803
Lesenswert?
• ▲
▼
Zu Imacros hab ich sogar ne kleine Geschichte..

Ich habe mal meine Schwester gefragt wie die Ihre Daten Sammeln.. sie 
sagte dann das sie in Onlineshops nach artikelnummern suchen, einen 
Beweisscreenshot machen und den neuen Preis in die Datenbank 
einpflegen..

Ich wusste nach diversen PHP Bots für Onlinespiele das es garnicht so 
schwer ist wenn man das System kennt. Mit IMacros habe ich dann eine 
komplettlösung als Script für viele parallele Shops mit den 
Verschiedensten Post und GetVars in nur 3 Stunden fertig gemacht(war 
einfacher als php oder curl).. es musste nur durch eine CSV mit ShopID 
und Artikelnummernspalte gefüttert werden. Die Screenshots wurden dazu 
auch noch sauber abgespeichert.

Wurde zwar nie genutzt weil das 10 Wochenstunden gespart hätte aber es 
hat geklappt.
#4330502
Lesenswert?
• ▲
▼
Bernd K. schrieb:

> Na dort müssen ja ausgewachsene Voll-Spezialisten am Ruder gestanden
> haben. Wie lange hat die Firma existiert?

Du wirst es kaum glauben, es gibt Marktforschungsunternehmen, da haben 
die Mitarbeiter nix anderes zu tun als Bundesweite Wurf-Prospekte in die 
Datenbank einzutippern und diese dann zu verkaufen.

So weiß Aldi was letzte Woche Bundesweit alles bei Penny im Angebot war.

Antwort schreiben

Bitte melde dich an, um einen Beitrag zu schreiben.

oder

Mit Google-Account einloggen

Die Registrierung ist kostenlos und dauert nur eine Minute.

Jetzt registrieren