Suche c't bot

Falls du über diesen Weg keinen findest, ein Vorschlag: Dank 3D Druckern kannst du die Mechanik eigentlich fast komplett drucken. Du findest im Netz die Abmessungen der ganzen Teile (Grundplatte, Motor-Winkel, Alu Räder, Sensor Mounts...). Kurz im CAD designen, dabei kannst du gleich den ganzen alten Kram raus schmeißen.

Beispiel: Die alten Sharp Abstandssensoren will doch keiner mehr nutzen, da gibt es ja mittlerweile mit TOF Sensoren oder gar kleinen Lidar deutlich bessere Lösungen, kannst du gleich im 3D Druck die Montage auf neue Sensoren abändern. Das gleiche eventl. beim (nicht mehr lieferbaren?!?) Motor und auch bei den Batterien. Statt mehrere AA Zellen einfach kleinen Lipo rein. Die Platine brauchst du eh nicht wenn du auf ARM umsteigen willst. So ein Hexenwerk war die Platine auch nicht... Den Maus Sensor wirst du wohl auch nur noch schwer bekommen...

Hast ne PN ;)

Max P. schrieb:

Dank 3D Druckern kannst du die Mechanik eigentlich fast komplett drucken.

Hi, danke für den Tipp, aber ich habe keinen 3D Drucker und suche eher einen Komplettsatz zum Spielen :-) Da war der c't bot eig. recht nett und liess sich recht einfach auf ein Cortex-M Board umstöpseln.

Hallo zusammen,

ich suche auch einen c't bot. Allerdings habe ich unter diesen Terminus was anderes verstanden und deshalb diesen Thread besucht.

Ich brauch ein Programm, das mir hilft automatisiert die pdf Artikel des c't Magazins downzuloaden. Z.Z. mache ich das von Hand, was etwas lästig ist. Im Prinzip brauche ich einen Klick auf die nächste Web-Seite, Suche des Links PDF und dann speichern unter.

Gibt es so was? könnt Ihr was empfehlen.

Ansonsten bitte ich um Entschuldigung für den etwas anderen Beitrag.

Aber vielleicht verirren sich hier auch andere hin, die genau dieses Wissen bereits haben.

LG Markus

David P. schrieb:

Hast ne PN ;)

Vielen Dank für das neue Spielzeug, ist heute angekommen, super verpackt!

Markus W. schrieb:

Ich brauch ein Programm, das mir hilft automatisiert die pdf Artikel des c't Magazins downzuloaden.

Sowas macht man sich am besten selber, weil die Zeitungsleute die Angewohnheit haben, den Aufbau der Seiten/Namen/… dann und wann zu ändern.

Hier ein Beispiel aus meinem „Abholprogramm“ für die Aachener Zeitung, die versenden täglich eine E-Mail mit einem Link drin, der nur einen Tag lang gilt.

Mein E-Mail-Programm lasse ich also ein Shellscript aufrufen, das den Text durchsucht und das Herunterladen mit „wget“ automatisiert:

1

URL=`grep 'https:\/\/epaper.*aachen.*\.de\/.*\.pdf' $1|sed -e 's/.*<a h.r.e.f.=\"//' -e 's/\">Jetzt herunterladen<\/a>.*//'`

(alles 1 Zeile)

Die Punkte aus „h.r.e.f.“ müssen weg, das Forum hält das für Spam, wenn ich es richtig schreibe.

„grep“ findet anhand unveränderlicher Namensbestamdteile die Zeile mit dem aktuellen Dateinamen (https://wo-auch-immer/Name.pdf), „sed“ schneidet den aus der Zeile aus, indem alles davor und alles dahinter „weggeschmissen“ wird, der Rest steht danach in der Variable „URL“.

Dann abholen:

1

wget -c -N "$URL"

Ich benenne die seltsam benannte Datei dann noch mit dem Abhol-Datum um.

Wenn es bei Dir keine E-Mail ist, sondern eine Webseite, wo Du den Link drauf findest, halt 2 Mal „wget“: erst Seite laden, wo's steht, daraus „extrahieren“, dann wie gehabt Herunterladen.

Das paßt jetzt nicht mehr nach „Markt“, ich weiß aber auch nicht, ob/wie man das ändern könnte.

Grüße, Christoph

Danke Christoph für Deinen Hinweis.

Leider ist bei der C't dieser Ansatz nicht praktikabel. Moderne Seiten haben oft zufällige Suffixe bei den Links, die einen simplen Download via Skript verhindern.

Man muss im DOM Objekt der Seite navigieren und die entsprechenden Stellen z.B. mittels jquery selektieren, dann kann man eventuell den gefundenen Link ansetzen und downloaden.

In meinem Fall muss man dann zur nächsten Seite des Magazins navigieren um dann erneut den PDF Link anspringen um dessen Inhalt herunterzuladen.

Dies wiederholt sich über 60+x mal, bis man den Inhalt komplett herunter geladen hat.

Für diesen Zweck wird ein Python oder Ruby Skript besser geeignet sein als die Bash.

Früher, bei einfacheren Seitenaufbau, habe ich sowas mit Perl und Mechanize gemacht, das den Browser-Zugriff imitiert.

Ich habe bis jetzt noch keine Muse gefunden mir ein Skript selber zu Schreiben, da ich mich in diese Thematik erst einfuchsen müsste und deshalb hier Forum angefragt.

Eventuell hat ja jemand noch einen anderen Vorschlag, wie dieses Problem angegangen werden kann.

LG Markus

Zufallselemente sind ja egal; solange man was mit „Unterscheidungswert“ findet, das das Gesuchte von bunten Bildchen und Werbe-Einblendungen abhebt, kriegt man das auch per regulärem Ausdruck zu packen.

Genau weil die heutzutage fast alle immer komplizierteren JS-Driß veranstalten und den dann auch noch alle Nase lang ändern, wirst Du kaum was vorgefertigtes finden.

„JDownloader“ gibt es zwar für genau diesen Anwendungsfall, aber der „generische Ansatz“ funktioniert selten so recht, so daß man für jeden Spezialfall ein „Plugin“ braucht und die gibt es dann aus naheliegenden Gründen nur für besonders beliebte Seiten, also Youtube und Consorten und drölfzig Phantastillionen Anbieter einschlägiger Ab-18-Filmchen.

Das Programm wäre aber einen Blick wert; wenn man da bei Heise alle Artikel einzeln laden muß oder so ähnlich, könnte es zumindest DAS automatisieren. Also so in der Art: „von Hand“ anmelden und zu der gewünschten Seite mit den JS-versauten Links gehen, deren URL dann zum JDownloader kopieren und der sucht dann alle PDF-Dateien oder was auch immer und holt die automatisch.

Da kann man auch Filter drin basteln, die beispielsweise „heise.de“ erkennen und dann den richtigen Ziel-Ordner einstellen und Nicht-Artikel ausfiltern.

Christoph

Es gibt doch genug Webseiten, wo man sich die komplette Ausgabe als PDF runterladen kann. Dauert natürlich aufgrund der Dateigrösse einige Zeit, aber das stört hoffentlich nicht weiter.