Wie verarbeitet man derartige Datenmengen in dieser Geschwindigkeit?

Gast #2596936
Lesenswert?

Hallo,

ich wundere mich über folgendes: Vielleicht kennt einer die RED ONE. 
Eine Filmkamera die im 4,5K Format aufnimmt. Also 4900x2580 mit 12bit 
bei min 30fps. Wie schafft man es diese Daten zu verarbeiten. Ich meine 
4900x2580x12x30 = 45.5112.0000bit = ~500MB/Sekunde. Mit welcher Hardware 
liest man sowas aus und wohin speichert man das? Jetzt kann die Kamera 
auch noch bis 60FPS hochgehen. Das ist ja denn 1GB/Sekunde ...
http://de.wikipedia.org/wiki/Red_Digital_Cinema_Camera_Company#Technische_Daten_der_Red_One
(Firma: keine) #2596940
Lesenswert?

Die englische Wikipedia sagt dazu:

"Recording media
The Red One records footage to Redcode data files on disk or flash-based 
digital storage. Four different recording units with flash, SSD or 
mechanical drives are available."

Die Datenrate ist schon hoch, aber SSDs mit solchen Schreibraten kriegt 
man ja schon fast im Consumer-Bereich.

Schau mal hier: 
http://www.alternate.de/html/product/Super_Talent/RAIDDrive_II_PCIe_SSD_1_TB/961683/?

Die schafft schon 2.4 GB/s beim Schreiben und der Preis wäre, gemessen 
an den Kosten der Red One, Peanuts ;)

Edit: Ok, die benötigten Datenraten für die komprimierten Aufnahmen sind 
dann wirklich nicht mehr der Rede wert :D
#2596953
Lesenswert?

Xavier Lander schrieb:
> Mit welcher Hardware
> liest man sowas aus und wohin speichert man das

Meine Vermutung: Mehrere parallele FPGAs die jeweils ein Bild 
komprimieren und dann an einen weiteren Prozessor der sie dann 
speichert.

Die FPGAs arbeiten dann wahrscheinlich so:
1. Bild Verarbeitung durch FPGA 1 hat dann $Anzahl_der_Prozzis Zeit das 
Bild der Kamera zu komprimieren
n. Bild gleich Spiel
(Firma: matzetronics) #2596960
Lesenswert?

Ich hab neulich mal bei einer kleinen Produktion mitgemacht, wo wir die 
One hatten. Wir hatten 2 Festplattenmodule, die am Abend dann auf die 
Rechner überspielt wurden. Es scheint also so zu sein, das der fette 
ASIC in der Kamera eine verlustlose Datenreduktion hinbekommt, um dann 
auf die Platten schreiben zu können, die ja nur so 200 MB/s schaffen, 
wenn sie gut sind.
Gast #2596968
Lesenswert?

Ich würde mal auf eine geteiltes Design tippen, einen flinken FPGA der 
die Daten entgegen nimmt, verarbeitet und dann in ein DDR Speicher 
schreibt. Zusätzlich dann noch einen externen Prozessor der die Daten 
aus dem DDR-Speicher liest.

Wobei, wenn man nur in eine SD-Karte schaufeln und wieder heraus lesen 
muss (kenn das Red One Ding nicht), dann kann man sich den zusätzlichen 
Prozessor wahrscheinlich auch sparen...
Gast #2597004
Lesenswert?

Kann in diesem Fall sicher auch parallel speichern, so RAID0 mässig. 
Dürfte in diesem Fall sogar sehr gut skalieren und ob bei dem Preis eine 
oder 5 oder 20 SSDs im RAID verbaut sind, interessiert keinen. Der 
Speicherplatz steigt annähernd mit der Anzahl SSDs (genug 
Paritätsplatten einbauen) und die Anforderungen an die einzelne SSD 
nimmt 1/n ab. Gibts schon bei diversen Opteron-Servern (seit kurzem auch 
bei Intel, aber Intel-FSB sucks), mit genug Threads gleichmässig auf die 
Prozies verteilt ergeben sich astronomische RAM-Lese/Schreibraten, da 
jeder Prozi weitgehend unabhängig des anderen seine lokalen RAM-Banke 
benutzen kann.

Einzig das splitten des Datenstroms ist ein wenig tricky.
#2597195
Lesenswert?

Konrad S. schrieb:
> Xavier Lander schrieb:
>> 4900x2580x12x30 = 45.5112.0000bit = ~500MB/Sekunde. Mit welcher Hardware
>
> 12 Bit Graustufe oder 3x 4 Bit je Farbe?
> Oder doch noch mit 3 multiplizieren für 12 Bit je Farbe?

CMOS -> Beyersensor = immer 4 Pixel (1 Rot, 1 Blau, 2 Grün) der 
4900x2580 werden zu einem Pixel zusammengefasst. Die effektiven 4 Pixel 
werden dann interpoliert (Demosaicing genannt -> Wikipedia). Macht jede 
Digitalkamera (auch die teuersten DSLR) so, Ausnahme stellen die Faveon 
Sensoren eines Namhaften Herstellers dar, der die 3 Farben in 3 Layern 
(Sandwichbauweise) auf dem Sensor realisiert hat. Dafür hat dieser 
Sensor wieder weniger Pixel - da wird dann der Auflösung halber wieder 
Inerpoliert und im Endeffekt kommt das gleiche raus ....
Gast #2597670
Lesenswert?

so

4900 X 2560 X 12 bit je pixel x 3 farben je Pixel X 30 frames je S

13.7 Giga bit je S

Wenn ich mir jetzt so überlege was in der Telekommunication so an 
backbone übertragung so verlegt ist, und was da dann alles z.B. in 
Frankfurt zusammenläuft,...

Gigabit ethernet hält daheim schon einzug.
10Gigabit sind im serverbereich kein Problem. (was muss da dann der 
switch leisten wenn da ein ganzes rz vernetzt ist)

oder was so ein PC so durch die gegend schaufelt. (speicheranbindung 4 
bits je tackt bei 200MHz und mehr und das dann x mal paralel) oder bei 
Grafikkarten?

oder sowas FPGA mit 120Gbit opto interface
http://www.heise.de/netze/meldung/FPGA-Chip-mit-direktem-optischem-Anschluss-liefert-120-GBit-s-1468658.html

oder so ein läpischer 1Ghz cpu mit 32 bit. je takt will die zumindest 
einen 32bit befehl verarbeitet. da kommt fieles aus dem cach aber daten 
kommen auch noch dazu, ...
Gast #2597703
Lesenswert?

> 4900 X 2560 X 12 bit je pixel x 3 farben je Pixel X 30


Nein - steht doch oben schon alles.
Die x3 kannste weglassen es sind 4900x2560 Pixel a 12 Bit.
Jedes Pixel für sich ist nur für Graustufen.
Es sind eben noch
ROT GRÜN
GRÜN BLAU
Farbfilter davor (also ein Pixel Rot, ein Pixel grün usw. das sind KEINE 
Subpixel wie bei nem Display...) um dann die Farbinfo daraus zu 
gewinnen.

Also wären das "gerade mal" lächerliche 4.5 GBit/s  ;-)
Gast #2597723
Lesenswert?

Zu großen Datenmengen: 
http://www.sueddeutsche.de/wissen/large-hadron-collider-der-daten-urknall-1.590070

Demzufolge fallen bei den Versuchen bis zu etwa 600TB pro Sekunde an. 
Das überlege man sich mal, wenn man für 100€ eine Festplatte mit 1TB 
kauft, dass die in unter zwei tausendstel Sekunden voll wäre. Allerdings 
werden die Daten schon vor der eigentlichen Auswertung von einfacher 
Logik gefiltert.

Antwort schreiben

Bitte melde dich an, um einen Beitrag zu schreiben.

oder

Mit Google-Account einloggen

Die Registrierung ist kostenlos und dauert nur eine Minute.

Jetzt registrieren