Forum: Mikrocontroller und Digitale Elektronik Wie verarbeitet man derartige Datenmengen in dieser Geschwindigkeit?


von Xavier Lander (Gast)


Lesenswert?

Hallo,

ich wundere mich über folgendes: Vielleicht kennt einer die RED ONE. 
Eine Filmkamera die im 4,5K Format aufnimmt. Also 4900x2580 mit 12bit 
bei min 30fps. Wie schafft man es diese Daten zu verarbeiten. Ich meine 
4900x2580x12x30 = 45.5112.0000bit = ~500MB/Sekunde. Mit welcher Hardware 
liest man sowas aus und wohin speichert man das? Jetzt kann die Kamera 
auch noch bis 60FPS hochgehen. Das ist ja denn 1GB/Sekunde ...
http://de.wikipedia.org/wiki/Red_Digital_Cinema_Camera_Company#Technische_Daten_der_Red_One

von (prx) A. K. (prx)


Lesenswert?

Xavier Lander schrieb:

> wohin speichert man das?

"Datenraten von 288Mbit und 224 MBit/s" = 36MB/s.
Nicht weiter bemerkenswert.

Da wird live komprimiert und nur das Ergebnis gespeichert. Steht ja da, 
bereits das Rohdatenformat ist komprimiert (REDCODE).

von Daniel H. (Firma: keine) (commander)


Lesenswert?

Die englische Wikipedia sagt dazu:

"Recording media
The Red One records footage to Redcode data files on disk or flash-based 
digital storage. Four different recording units with flash, SSD or 
mechanical drives are available."

Die Datenrate ist schon hoch, aber SSDs mit solchen Schreibraten kriegt 
man ja schon fast im Consumer-Bereich.

Schau mal hier: 
http://www.alternate.de/html/product/Super_Talent/RAIDDrive_II_PCIe_SSD_1_TB/961683/?

Die schafft schon 2.4 GB/s beim Schreiben und der Preis wäre, gemessen 
an den Kosten der Red One, Peanuts ;)

Edit: Ok, die benötigten Datenraten für die komprimierten Aufnahmen sind 
dann wirklich nicht mehr der Rede wert :D

von René Z. (dens)


Lesenswert?

Xavier Lander schrieb:
> Mit welcher Hardware
> liest man sowas aus und wohin speichert man das

Meine Vermutung: Mehrere parallele FPGAs die jeweils ein Bild 
komprimieren und dann an einen weiteren Prozessor der sie dann 
speichert.

Die FPGAs arbeiten dann wahrscheinlich so:
1. Bild Verarbeitung durch FPGA 1 hat dann $Anzahl_der_Prozzis Zeit das 
Bild der Kamera zu komprimieren
n. Bild gleich Spiel

von Lukas K. (carrotindustries)


Lesenswert?

Bei den Preisen kommen auch schon ASICs in Betracht...

von Robert S. (razer) Benutzerseite


Lesenswert?


von Matthias S. (Firma: matzetronics) (mschoeldgen)


Lesenswert?

Ich hab neulich mal bei einer kleinen Produktion mitgemacht, wo wir die 
One hatten. Wir hatten 2 Festplattenmodule, die am Abend dann auf die 
Rechner überspielt wurden. Es scheint also so zu sein, das der fette 
ASIC in der Kamera eine verlustlose Datenreduktion hinbekommt, um dann 
auf die Platten schreiben zu können, die ja nur so 200 MB/s schaffen, 
wenn sie gut sind.

von Robert S. (razer) Benutzerseite


Lesenswert?

Robert S. schrieb:
> Sind ASICs. Hier rein Teardown der Red One:

Sorry, ist die Epic-M.

von (prx) A. K. (prx)


Lesenswert?

Matthias Sch. schrieb:

> ASIC in der Kamera eine verlustlose Datenreduktion hinbekommt,

Verlustarm trifft es wohl besser.

von Hmm... (Gast)


Lesenswert?

Ich würde mal auf eine geteiltes Design tippen, einen flinken FPGA der 
die Daten entgegen nimmt, verarbeitet und dann in ein DDR Speicher 
schreibt. Zusätzlich dann noch einen externen Prozessor der die Daten 
aus dem DDR-Speicher liest.

Wobei, wenn man nur in eine SD-Karte schaufeln und wieder heraus lesen 
muss (kenn das Red One Ding nicht), dann kann man sich den zusätzlichen 
Prozessor wahrscheinlich auch sparen...

von Simon K. (simon) Benutzerseite


Lesenswert?

Hmm... schrieb:
> Ich würde mal auf eine geteiltes Design tippen, einen flinken FPGA der
> die Daten entgegen nimmt, verarbeitet und dann in ein DDR Speicher
> schreibt. Zusätzlich dann noch einen externen Prozessor der die Daten
> aus dem DDR-Speicher liest.

Ja falsch getippt.
Einfach mal lesen was geschrieben wurde.

von Matthias S. (Firma: matzetronics) (mschoeldgen)


Lesenswert?

RED selber redet von einem '27 Layer ASIC' in der EPIC und das sie 
angeblich RAW Daten speichern.
http://www.red.com/products/epic

von (prx) A. K. (prx)


Lesenswert?

Matthias Sch. schrieb:

> und das sie angeblich RAW Daten speichern.

Tun sie auch. Nur ist RAW hier der proprietär komprimierte Datenstrom, 
der aus den ASICs hinten rausfällt. Bisschen kreativ definiert eben.

http://en.wikipedia.org/wiki/REDCODE

von unbekannter (Gast)


Lesenswert?

Kann in diesem Fall sicher auch parallel speichern, so RAID0 mässig. 
Dürfte in diesem Fall sogar sehr gut skalieren und ob bei dem Preis eine 
oder 5 oder 20 SSDs im RAID verbaut sind, interessiert keinen. Der 
Speicherplatz steigt annähernd mit der Anzahl SSDs (genug 
Paritätsplatten einbauen) und die Anforderungen an die einzelne SSD 
nimmt 1/n ab. Gibts schon bei diversen Opteron-Servern (seit kurzem auch 
bei Intel, aber Intel-FSB sucks), mit genug Threads gleichmässig auf die 
Prozies verteilt ergeben sich astronomische RAM-Lese/Schreibraten, da 
jeder Prozi weitgehend unabhängig des anderen seine lokalen RAM-Banke 
benutzen kann.

Einzig das splitten des Datenstroms ist ein wenig tricky.

von (prx) A. K. (prx)


Lesenswert?

unbekannter schrieb:

> Kann in diesem Fall sicher auch parallel speichern, so RAID0 mässig.

Könnte wenn RED dies gewollt hätte. Das Alleinstellungsmerkmal war aber 
offenbar grad, dass der Kram auch ohne grossem Aufwand beim Storage 
gespeichert werden konnte.

von Konrad S. (maybee)


Lesenswert?

Xavier Lander schrieb:
> 4900x2580x12x30 = 45.5112.0000bit = ~500MB/Sekunde. Mit welcher Hardware

12 Bit Graustufe oder 3x 4 Bit je Farbe?
Oder doch noch mit 3 multiplizieren für 12 Bit je Farbe?

von Lehrmann M. (ubimbo)


Lesenswert?

Konrad S. schrieb:
> Xavier Lander schrieb:
>> 4900x2580x12x30 = 45.5112.0000bit = ~500MB/Sekunde. Mit welcher Hardware
>
> 12 Bit Graustufe oder 3x 4 Bit je Farbe?
> Oder doch noch mit 3 multiplizieren für 12 Bit je Farbe?

CMOS -> Beyersensor = immer 4 Pixel (1 Rot, 1 Blau, 2 Grün) der 
4900x2580 werden zu einem Pixel zusammengefasst. Die effektiven 4 Pixel 
werden dann interpoliert (Demosaicing genannt -> Wikipedia). Macht jede 
Digitalkamera (auch die teuersten DSLR) so, Ausnahme stellen die Faveon 
Sensoren eines Namhaften Herstellers dar, der die 3 Farben in 3 Layern 
(Sandwichbauweise) auf dem Sensor realisiert hat. Dafür hat dieser 
Sensor wieder weniger Pixel - da wird dann der Auflösung halber wieder 
Inerpoliert und im Endeffekt kommt das gleiche raus ....

von Rufus Τ. F. (rufus) Benutzerseite


Lesenswert?

Konrad S. schrieb:
> 12 Bit Graustufe oder 3x 4 Bit je Farbe?
> Oder doch noch mit 3 multiplizieren für 12 Bit je Farbe?

12 Bit pro Pixel, aber die 4900x2580 Pixel sind im Bayer-Pattern 
angeordnet, also keine RGB-Pixel.

Gute DSLRs arbeiten sogar mit 14 Bit pro Pixel, aber bei Photographie 
kommt es auch auf andere Dinge an als beim Filmen.

von fov (Gast)


Lesenswert?

Lehrmann Michael schrieb:
> da wird dann der Auflösung halber wieder
> Inerpoliert und im Endeffekt kommt das gleiche raus ....

ich glaube damit tust du dem Foveon Unrecht. Schliesslich saugt er 4 mal 
so viel Licht auf, wie ein vergleichbarer mit Bayermuster

von fov (Gast)


Lesenswert?


von Rolf M. (rmagnus)


Lesenswert?

Rufus Τ. Firefly schrieb:
> Konrad S. schrieb:
>> 12 Bit Graustufe oder 3x 4 Bit je Farbe?
>> Oder doch noch mit 3 multiplizieren für 12 Bit je Farbe?
>
> 12 Bit pro Pixel,

Eben nicht pro Pixel, sondern pro Subpixel. 12 Bit pro Pixel würden 
ziemlich mies aussehen.

von abc (Gast)


Lesenswert?

so

4900 X 2560 X 12 bit je pixel x 3 farben je Pixel X 30 frames je S

13.7 Giga bit je S

Wenn ich mir jetzt so überlege was in der Telekommunication so an 
backbone übertragung so verlegt ist, und was da dann alles z.B. in 
Frankfurt zusammenläuft,...

Gigabit ethernet hält daheim schon einzug.
10Gigabit sind im serverbereich kein Problem. (was muss da dann der 
switch leisten wenn da ein ganzes rz vernetzt ist)

oder was so ein PC so durch die gegend schaufelt. (speicheranbindung 4 
bits je tackt bei 200MHz und mehr und das dann x mal paralel) oder bei 
Grafikkarten?

oder sowas FPGA mit 120Gbit opto interface
http://www.heise.de/netze/meldung/FPGA-Chip-mit-direktem-optischem-Anschluss-liefert-120-GBit-s-1468658.html

oder so ein läpischer 1Ghz cpu mit 32 bit. je takt will die zumindest 
einen 32bit befehl verarbeitet. da kommt fieles aus dem cach aber daten 
kommen auch noch dazu, ...

von Zorg (Gast)


Lesenswert?

> 4900 X 2560 X 12 bit je pixel x 3 farben je Pixel X 30


Nein - steht doch oben schon alles.
Die x3 kannste weglassen es sind 4900x2560 Pixel a 12 Bit.
Jedes Pixel für sich ist nur für Graustufen.
Es sind eben noch
ROT GRÜN
GRÜN BLAU
Farbfilter davor (also ein Pixel Rot, ein Pixel grün usw. das sind KEINE 
Subpixel wie bei nem Display...) um dann die Farbinfo daraus zu 
gewinnen.

Also wären das "gerade mal" lächerliche 4.5 GBit/s  ;-)

von Dussel (Gast)


Lesenswert?

Zu großen Datenmengen: 
http://www.sueddeutsche.de/wissen/large-hadron-collider-der-daten-urknall-1.590070

Demzufolge fallen bei den Versuchen bis zu etwa 600TB pro Sekunde an. 
Das überlege man sich mal, wenn man für 100€ eine Festplatte mit 1TB 
kauft, dass die in unter zwei tausendstel Sekunden voll wäre. Allerdings 
werden die Daten schon vor der eigentlichen Auswertung von einfacher 
Logik gefiltert.

von (prx) A. K. (prx)


Lesenswert?

Allerdings montiert man den LHC nicht so gerne auf einen 
Kameraschlitten, oder trägt ihn gar mit sich rum.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.