Hallo miteinander,
als ich erfahren habe, dass ein Smartphone 720p Aufnahmen mit fast
1000FPS macht hat es mich fast vom Stuhl gehauen. Nun ist das gesamte
Smartphone aber relativ teuer wenn man nur die Kamera möchte.
Nach kurzer Suche habe ich aber herausgefunden, dass man die Kamera als
Ersatzteil für unter 50 Euro bekommt. Wenn das kein Schnapper ist!
Zu blöd, dass ich nicht weiß wie man den Sensor ausließt. Generell
konnte ich dazu kaum Informationen finden. Also stumpf einen FPGA an
flanschen wird schwierig.
Wie gut wird es wohl möglich sein das Teil zu "reverse engineeren"?
Ich vermute nicht, dass Singsang den Datenstrom irgendwie groß schützt.
Allerdings sollen Hersteller ja sehr Kreativ sein wenn es darum geht,
dass niemand deren Technik klaut.
Das wird nicht möglich sein...
Erst recht weil diese Superzeitlupenaufnahmen mit einem Trick gemacht
werden:
Anstelle klassisch jeden Pixel Reihe für Reihe auszulesen und zu
speichern wie normalerweise üblich, liest man z.B. immer jeden 10ten
Pixel aus. Dabei fängt man beim ersten Durchlauf bei Pixel 1 an. Beim
Zweiten Durchlauf bei Pixel 2 und so weiter.
Dadurch hat man 10 niederauflösende Bilder in sehr schneller Folge.
Das Ansprechen des Sensors in dieser Art und Weise erfordert aber
speziell angepasste Hardware die inzwischen in den SoCs integriert ist.
Glubscher schrieb:> Zu blöd, dass ich nicht weiß wie man den Sensor ausließt.
Dazu findest du auch keine frei zugänglichen Informationen.
Glubscher schrieb:> Wie gut wird es wohl möglich sein das Teil zu "reverse engineeren"?
Wenn es sich um MIPI-kompatible Sensoren handelt, nutzen die
wahrscheinlich CCS und CSI mit mehreren Lanes. CCS ist an sich nur
normales I2C (die Spec gibt's gegen Anmeldung kostenlos von MIPI), für
CSI brauchst du eine hinreichend schnelle Hardwareschnittstelle.
Alex G. schrieb:> Erst recht weil diese Superzeitlupenaufnahmen> mit einem Trick gemacht werden:
Nein, denn dann könnte man das durchgängig machen. Aktuell werden aber
nur einige zig Millisekunden gestreckt.
Aktuelle Sensoren haben einfach genug Speicher integriert, um genug
Bilder zwischenzuspeichern. Aus der Größe dieses Speichers ergeben sich
Auflösung und Dauer der Superzeitlupe, aus Belichtungszeit und
Pixelgröße das Rauschverhalten (shot noise).
Alex G. schrieb:> Das Ansprechen des Sensors in dieser Art und Weise erfordert aber> speziell angepasste Hardware die inzwischen in den SoCs integriert ist.
Nein. Die Bilder werden einfach nacheinander übertragen. Das
Hauptproblem ist die Software, weil die normale Videofunktion
weiterlaufen soll, während die Superzeitlupe übertragen wird, d.h. die
Reihenfolge der Bilder ist nicht linear.
Also ich habe ganz genau im Kopf beschriebene Technik in einem Artikel
in diesem Zusammenhang gelesen zu haben. Weiss leider nicht so recht wie
ich das ergoogeln sollte.
Der Speicher im SOC kann ebenfalls voll laufen, was die Dauer begrenzt.
EDIT: Wenn ich mir das recht überlege kann es sein dass dies in einer
DSLR oder Bridge Kamera steckte, nicht in einem Smartphone.
@Glubscher
Btw. bei Gebrauchkauf bist du mit 200€ für ein Sony Xperia XZ Premium
mit diesem Feature mit dabei. Das ist wahrscheinlich günstiger als
Sensor + ausreichend starkem FPGA board...
Alex G. schrieb:> Also ich habe ganz genau im Kopf beschriebene Technik in> einem Artikel in diesem Zusammenhang gelesen zu haben.
Ja, ich kann mir das auch gut vorstellen. Allerdings weiß ich sehr
genau, dass das in aktuellen Smartphones so nicht funktioniert. :-)
Alex G. schrieb:> Der Speicher im SOC kann ebenfalls voll laufen, was die Dauer begrenzt.
Das ist eigentlich vollkommen irrelevant. Einigermaßen aktuelle
Highend-SoCs können problemlos dauerhaft mit 120 fps oder 240 fps
umgehen, solange sie nicht überhitzen. Schneller läuft die Superzeitlupe
auch nicht - wie gesagt, die Magie ist im Sensor, nicht im SoC.
Die Dauer liegt bei knapp 200 ms in 720p, also man muss ordentlich
triggern können, wenn man damit kurze Ereignisse aufnehmen will.
Diese speziellen, in Smartphones verbauten Kamera-Sensoren haben genug
Speicher integriert, um die anfallenden Bilder schnell
zwischenzuspeichern. Somit werden nahezu 1000FPS bei HD-Auflösung
erreicht, jedoch beschränkt auf nicht ganz 0.2 Sekunden. Sony und
Samsung habe diese Sensoren in ihren Flagschiffen verbaut.
Sony bringt gegen Ende dieses Jahres einen neuen Sensor heraus, der
dauerhaft 480FPS bei HD-Auflösung schafft
(https://www.sony.net/SonyInfo/News/Press/201807/18-060E/index.html)
Wenn die Beschränkungen der aktuellen SloMo-Technik in den Smartphones
nichts ausmacht, würde ich einfach ein gebrauchtes kaufen, wie das oben
schon erwähnte XZ Premium.
Ansonsten musst du wohl ein bisschen mehr ausgeben. RX10 II/III von Sony
kann auch 960fps, da kann ich aber nichts zu Aufnahmedauer sagen.
Wobei ich mal vermuten würde, dass man die meisten Sensoren problemlos
mit 480 fps fahren könnte. Ein 30 fps-Sensor mit 2x2-Binning
(geviertelte Auflösung) schafft 120 fps, mit 4x4-Binning kommt man bei
gleicher Bandbreite auf 480 fps (mit einem 16-tel der Auflösung).
