PC zum schnellen abspeichern von Messdaten

[Peter (Gast)]

Hallo,
ich möchte Messdaten über USB 3.0 direkt auf einem PC abspeichern. Die 
Datenrate sind etwa 240 MB/s wobei 200 s aufgezeichnet werden sollen.
Meine Frage ist jetzt welche Mindestanforderungen solch ein PC haben 
sollte.
Hat jemand schon konkrete Vorschläge ?
Danke!

[keiner (Gast)]

Da selbst aktuelle Festplatten und SSDs kaum über 150MB/s kommen 
(dauerhaft, nicht nur in den Cache) wirst du mindestens ein RAID 0 
brauchen, was aber eher knapp ausfällt, besser wäre es, die Daten direkt 
im Speicher zu lassen und später auf Platte zu sichern. Das wären 48GB 
Rohdaten + Verwaltung + OS = 64GB, das ist noch bezahlbar. Jedoch muss 
man darauf achten, dass die meisten Intel-Consumer-Prozessoren nur 32GB 
verwalten können. Unter https://ark.intel.com kannst du dich 
informieren. Mein Vorschlag wäre ein kleiner bis mittlerer Xeon, mit 
ECC-Unterstützung für mehr als 32GB RAM. Dazu ein RAID 1 aus schnellen 
Festplatten (WD-Black) oder entsprechende Serverplatten. Kostenpunkt im 
Eigenbau 1500-2000€ oder von verschiedenen Herstellern als Workstation 
angeboten 2000-3000€.

[Hans W. (Firma: Wilhelm.Consulting) (hans-)]

Abhängig von der Redundanz in deinen Messdaten würde ich vorschlagen 
blockweise in den Ram zu schreiben, und komprimiert auf die Platte.

lz4 schafft angeblich über 400mb/s pro core auf einem i5...

Wenn die Entropie der Daten nicht zu hoch ist, solltest du dann mit der 
benötigten Schreibrate deutlich unter 100MB/s kommen. Das schaffen 
selbst gute alte mechanische Datengräber für Laptops :)

73

[ToNo (Gast)]

Bei den dauerhaften Schreibraten ist eine PCIe SSD zu empfehlen.
Da werden Schreibraten von 800MB/s erreicht (sind intern meist 8 
Kanäle).
Es gibt verschiedene Verfahren die Karte in das System einzubinden.
In der Beschreibung werden die jeweiligen Schreibraten aufgeführt.

[Peter II (Gast)]

keiner schrieb:
> Da selbst aktuelle Festplatten und SSDs kaum über 150MB/s kommen
> (dauerhaft, nicht nur in den Cache) wirst du mindestens ein RAID 0
> brauchen, was aber eher knapp ausfällt,

was hast du für langsame SSDs?

Ich habe mehre Samsung im Einsatz und die können ohne Problem auf Dauer 
400Mbyte/s schreiben.


Für diese Anforderung tut es jeder aktuelle mit PC mit einer SSD.

[ToNo (Gast)]

auch wenn der Cache abgefüllt ist ?

[ToNo (Gast)]

in welcher Form werde die Daten geschrieben ?
Sind es eher viele kleine Schreibaktionen (4kB oder kleiner) oder werden 
die Daten gesammelt und in größeren Blöcken geschrieben (> 16kB) ?

Bei den kleinen Blöcken ist eine normale SSD zu langsam.
Größere Blöcke werden schnell genug verarbeitet.

Meine Daten der PCIe SSD bezogen sich auf 4kB Blöcke.

[Peter II (Gast)]

ToNo schrieb:
> auch wenn der Cache abgefüllt ist ?

wenn sie nicht grade 10GB Cache hat ja.

Selbst 500Mbyte/s ist drin, aber damit würde ich nicht rechnen, wenn es 
wichtig ist.

Wenn sehr oft, diese Datenmenge geschrieben wird, dann kann man folgende 
ssd nehmen

Samsung 850 Pro 512GB

[Peter II (Gast)]

ToNo schrieb:
> Bei den kleinen Blöcken ist eine normale SSD zu langsam.
> Größere Blöcke werden schnell genug verarbeitet.

es gibt ja noch ein Betriebssystem, welches einen Cache hat. Wenn man 
nicht nach jeden Byte ein flush macht, spielt es kaum eine rolle wie es 
in der Anwendung gemacht wird.