Forum: PC Hard- und Software NAS für automatisierten Download


von Peter (Gast)


Lesenswert?

Hallo,

ich möchte eine Webseite einmal tägich automatisiert aus dem Internet 
herunterladen. Ähnliche wie hier:
https://community.synology.com/enu/forum/17/post/70790

Das Ganze soll auch über ein NAS laufen. Das oben verwendete NAS ist 
allerdings veraltet. Und obwohl ich denke, dass sowas vermutlich alle 
neueren Modelle können (von Synology - die scheinen mir ganz gut zu 
sein), bin ich mir nicht sicher.

Das Script für den Download werde ich in C programmieren (falls das eine 
Rolle spielt).

Kann mir jemand ein passedes NAS um 300,- / 400,- Euro empfehlen?

Gruß Peter

von Musik og F. (musikog_f)


Lesenswert?

für solch eine Aufgabe kannst du dir eine ca. 6…10 Jahre alte Nas für 
kleines Geld ziehen.
Damit kannst du auch täglich Wikipedia ziehen. Auf Facebook kommen 
täglich so 5 PB an. Das schafft keine SoHo NAS.

Wenn du das in C schreiben willst: bitte.
Andere würden das nur scripten.

von Peter (Gast)


Lesenswert?

Musik og F. schrieb:
> für solch eine Aufgabe kannst du dir eine ca. 6…10 Jahre alte Nas für
> kleines Geld ziehen.

Ich möchte das NAS dann auch für Datensicherung verwenden, also lieber 
was neues.

Musik og F. schrieb:
> Wenn du das in C schreiben willst: bitte.
> Andere würden das nur scripten.

Ich dachte an libcurl, libtidy und libxml. Damit scheint es mir möglich, 
ein paar Daten aus der Seite auszulesen und aufzubewahren.
Das sind auch nur ein paar Zeilen Code.

von Sebastian (Gast)


Lesenswert?

Peter schrieb:
> Ich dachte an libcurl, libtidy und libxml. Damit scheint es mir möglich,
> ein paar Daten aus der Seite auszulesen und aufzubewahren.
> Das sind auch nur ein paar Zeilen Code.

Ich hatte gerade den Fall, dass curl von Cloudflare geblockt wurde, 
Browser dagegen nicht. Doh. Und das war beim Zugriff auf ein API das 
JSON zurückliefert!

LG, Sebastian

von Frank K. (fchk)


Lesenswert?

Peter schrieb:

> Kann mir jemand ein passedes NAS um 300,- / 400,- Euro empfehlen?

Ich würde dafür ein Odroid HC1 oder HC2 nehmen. Sowas hier:

https://www.hardkernel.com/shop/odroid-hc1-home-cloud-one/
https://www.hardkernel.com/shop/odroid-hc2-home-cloud-two/

Das sind kleine ARM-Systeme, wo Du direkt eine SATA Festplatte oder SSD 
einbauen kannst. Ein Debian oder Ubuntu bootest Du über MicroSD, und 
dann hast Du ein kleines, stromsparendes Linux-System, bei dem Du alle 
Freiheiten hast. HC1 und HC2 unterscheiden sich nur in der Bauform der 
Festplatte (HC1: 2.5", HC2: 2.5/3.5"). Gibts leider nicht mehr neu, aber 
auf ebay-kleinanzeigen werden noch ein paar angeboten.

Neu gibts noch den HC4. Der kann zwei SATA Festplatten oder SSDs 
ansteuern. Ist ansonsten ähnlich wie HC1/HC2, eben auch ein generisches 
Linux-System, was Du Dir selbst so einrichten kannst (und musst), wie Du 
es brauchst.
https://www.hardkernel.com/shop/odroid-hc4/

Das plus eine passende SSD oder Festplatte, und Du solltest locker unter 
Deinen 300€ bleiben.

fchk

PS: Der HC4 kann nicht nur von SD-Karte, sondern auch von SATA booten. 
Die HC1/HC2 können nur von SD-Karte booten, was für meine Anwendungen 
(Offline-Backups) aber egal ist.

PPS:
https://www.pollin.de/p/odroid-hc4-mit-oled-811267
(gibts auch ohne OLED für 20€ weniger, aber aktuell ist nur die Version 
mit OLED lieferbar)

: Bearbeitet durch User
von Eric (Gast)


Lesenswert?

Peter schrieb:
> Das Script für den Download werde ich in C programmieren (falls das eine
> Rolle spielt).

Warum denn so einen Aufwand?
1
wget -E  -k -p https://irgendwas.com
Dann legst Du ein Cron-Job an und gut ist.

von Hannes J. (Firma: _⌨_) (pnuebergang)


Lesenswert?

Wenn es wirklich über offizielle Synology-Mechanismen gehen soll 
(eigentlich viel zu aufwendig) dann:

Die Synology Download Station Software
https://www.synology.com/de-de/dsm/packages/DownloadStation
mit einem nach
https://global.download.synology.com/download/Document/Software/DeveloperGuide/Package/DownloadStation/All/enu/Developer_Guide_to_File_Hosting_Module.pdf
programmierten eigenen File Hosting Modul.

Das ist dann mit Kanonen auf Spatzen geschossen, aber wer's mag ...

Eine reale Implementierung (Hosting Module für die Arte Mediathek, beide 
github-Projekte werden benötigt):
https://github.com/iNaD/download-station-boilerplate
https://github.com/iNaD/download-station-artemediathek

: Bearbeitet durch User
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.