News STMicroelectronics: FlightSense-Tiefensensor mit 0.5 Megapixel Auflösung


von Tam H. (Firma: Tamoggemon Holding k.s.) (tamhanna)


Angehängte Dateien:

Lesenswert?

STMicroelectronics erweitert die FlightSense-Serie um einen neuen Sensor, der eine Auflösung von 672x804 Pixel bietet und damit in den Auflösungsbereich „klassischer“ Tiefenkameras wie dem Microsoft Kinect vordringt.

Worum geht es hier?

Seit Microsoft‘s Kinect sind Tiefenkameras auch für Normalentwickler erreichbar. Die dahinterstehende Idee ist einfach – anstatt Farbwerten liefert die Tiefenkamera Informationen darüber, wie weit das vom jeweiligen Pixel „tangierte“ Objekt vom Ursprung entfernt ist.

(Bildquelle: ST, zur Verfügung gestellt)

Erweiterung in die dritte Dimension

Mit dem VD55H1 setzt STM den schon bisher sichbaren Trend zur Auflösungssteigerung fort: war man bisher im Bereich 16x16 Pixel unterwegs, so erreicht der neue Sensor an Kinect, primitive Handykamera und Co erinnernde Auflösungen. Obwohl derzeit noch kein finales Datenblatt des Sensors verfügbar ist, sind schon jetzt Informationen über die Leistungsfähigkeit verfügbar: STMicroelectronics verspricht eine maximale Datenrate von bis zu 120fps, im Bereich der Auflösung des ADC erlaubt man entweder 10 oder 12bit. Im Bereich der Reichweite verspricht ST folgendes:

. . . with typical ranging distance up to 5 meters in full resolution, and beyond 5 meters with patterned illumination

Anpassungen am Interface

Eines der wichtigsten Verkaufsargumente pro Kinect war die vergleichsweise einfache Aberntbarkeit der generierten Daten – es gab im SDK sogar Funktionen, die Tiefen- und Farbpixel zueinander korrelierten. Beim VD55H1 setzt STM auf einen hauseigenen DSP, der sich um die Datenaufbereitung kümmert:

ST has developed a proprietary software image signal processor (ISP) to convert RAW data into depth map, amplitude map, confidence map and offset map. Android formats like DEPTH16 and depth point cloud are also supported

Die höhere Datenrate wirkt sich leider auch in Form aufwändigerer Interfacegestaltung aus – die Abbildung zeigt, dass der neue Sensor drei Interfaces exponiert. Der Mikrocontroller erntet die eigentlichen Bilddaten dabei übrigens per LVDS ab, die I2C-Schnittstelle dient nur zur Konfiguration des Sensors. Für das SPI-Interface gilt Ähnliches, es kümmert sich um die Ansteuerung des Laser-LED-Systems.

(Bildquelle: https://www.st.com/en/imaging-and-photonics-solutions/vd55h1.html?)

Von der Verfügbarkeit

Zum Zeitpunkt der Abfassung dieses Textes steht der VD55H1 nicht im freien Handel zur Verfügung - „Leitkunden“ können allerdings schon jetzt Samples ziehen, die Serienfertigung ist für H2 2022 avisiert.


: Bearbeitet durch NewsPoster
von Content B. (Firma: Da) (contentblocker_da)


Lesenswert?

Da würde ich doch gerne um mehr Daten bitten!

Gibts da schon Beispielcode? Wie wird das Tiefenbild aus dem Chip 
ausgelesen?

von Tam H. (Firma: Tamoggemon Holding k.s.) (tamhanna)


Lesenswert?

Content B. schrieb:
> Da würde ich doch gerne um mehr Daten bitten!
>
> Gibts da schon Beispielcode? Wie wird das Tiefenbild aus dem Chip
> ausgelesen?

Hallo,
danke dir für deine Rückmeldung!

Habe soeben bei ST nachgefragt. Eventuell kann es sein, dass sie deine 
E-Mail-Addy brauchen: bitte schreibe mir preventiv ein Mailchen an 
tamhan aeht tamoggemon rundesding com.

von Johannes S. (Gast)


Lesenswert?

sieht interessant aus, aber wegen Datenrate und -menge wird das eher für 
Cortex-A oder ähnliche Kaliber sein.

von Sam .. (sam1994)


Lesenswert?

Im Blockschaltbild ist kein LVDS sondern MIPI zu sehen. Daher wird die 
Kommunikation sehr wahrscheinlich über CSI-2 laufen. Wie die Daten da 
übertragen werden, steht alles in der Spec. Letztendlich braucht man 
einen Controller mit D-PHY? oder FPGA.

von Max P. (eizo)


Lesenswert?

Sam .. schrieb:
> Im Blockschaltbild ist kein LVDS sondern MIPI zu sehen. Daher wird die
> Kommunikation sehr wahrscheinlich über CSI-2 laufen.

Steht alles auf der ST Produktseite:

https://www.st.com/en/imaging-and-photonics-solutions/vd55h1.html

The VD55H1 outputs 12-bit RAW digital video data over a MIPI CSI-2 quad 
lane or dual lane interface clocked at 1.5 GHz. The sensor frame rate 
can reach 60 fps in full resolution and 120 fps in analog binning 2x2. 
ST has developed a proprietary software image signal processor (ISP) to 
convert RAW data into depth map, amplitude map, confidence map and 
offset map. Android formats like DEPTH16 and depth point cloud are also 
supported.
The device is fully configurable through the I2C serial interface. It 
features a 200 MHz low-voltage differential signaling (LVDS) and a 10 
MHz, 3-wire SPI interface to control the laser driver with high 
flexibility.

von Tam H. (Firma: Tamoggemon Holding k.s.) (tamhanna)


Lesenswert?

Content B. schrieb:
> Da würde ich doch gerne um mehr Daten bitten!
>
> Gibts da schon Beispielcode? Wie wird das Tiefenbild aus dem Chip
> ausgelesen?

Hallo,
Rückmeldung ist da. Es gibt schon Software, aber nur gegen NDA beim 
lokalen Feld-Ingenieur. Wenn du keinen hast, schreibe mir ein Mail.

lg
th

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.