Forum: Digitale Signalverarbeitung / DSP / Machine Learning Audio aus Videodaten extrahieren


von Rolf S. (audiorolf)


Lesenswert?

Ich möchte gerne die von TVs und AVRs kommenden Audiodaten auswerten und 
verarbeiten. Leider bin Ich bei den erwerblichen Gerätchaften im INet 
bisher nicht richtig fündig geworden. Es geht mir dabei um ein 
Mehrkanalformat, das die meisten offenbar nicht verstehen.

Nach eingehendem Studium der verfügbaren Literaur ist es so, daß der 
HDMI-Datenstrom die Möglichkeit schafft, bis zu 8 Kanäle gleichzeitig in 
den Daten zu übertragen.

Leider finde ich weder einen Chip, noch eine Applikation, die es 
gestatten, das auszuwerten. Gängige Chips für die Videotechnik 
extrahieren nur S/PDIF und sind damit 2-kanalig.

Ist zufällig jemand ein DSP-System bekannt, das es gestattet, einen 
Videodatenstrom autonom zu prozessieren und so an die Bruttodaten 
heranzukommen?

von Dirk D. (dicky_d)


Lesenswert?

Ich bin grade unschlüssig was du suchst.
Suchst du Hardware die das direkt tut oder Software?
Willst du das einmalig machen oder eher in einem Produkt verpacken?
soll es in Echtzeit passieren oder auf Bestandsdaten arbeiten?
Wenn Software: was für ein system liegt vor, und wie kommen die Daten 
rein, wie sollen sie raus?

Grüße, Dirk

von Rolf S. (audiorolf)


Lesenswert?

Gut, Du hast Recht - es hätte noch mehr Infos gebraucht. Die will Ich 
aber gerne geben und antworte die Fragen im Fluss:

- Ich suche eine Hardware, die das kann und die ich nicht erst bauen 
muss

- Die Software kann ich selber schreiben. Die Auswertung MUSS ich ja 
selber schreiben.

- Ich möchte es als Prototyp einmalig machen und es später in ein 
Produkt umsetzen

- Es muss in Echtzeit passieren

- Die Daten kommen per HDMI-Kabel aus Verteilern

Einsatz ist unter anderem das Hospital, der Manege und gfs das 
Auditorium bei Rockkonzerten.

von Egon O. (Gast)


Lesenswert?

Rolf S. schrieb:
> die von TVs und AVRs kommenden Audiodaten auswerten

Was meinst du damit?

von Egon O. (Gast)


Lesenswert?

Rolf S. schrieb:
> Einsatz ist unter anderem das Hospital, der Manege und gfs das
> Auditorium bei Rockkonzerten.
Krankenhaus, Zirkus und grüne Wiese?
Wo gibt es da
> die von TVs und AVRs kommenden Audiodaten
???

von R. M. (Gast)


Lesenswert?

Glaube, mit AVR meint er Audio-Video-Recorder.

von Egon O. (Gast)


Lesenswert?

R. M. schrieb:
> Glaube, mit AVR meint er Audio-Video-Recorder.
Klar, da kommt ja auch jeder drauf im µC-Forum :-)
Okay, ich ziehe meine Fragen zurück...

von Rolf S. (audiorolf)


Lesenswert?

AVR ist der Begriff für Audio-Video-Receiver, ja. Gut, das hätte man 
noch abgrenzen können. Diese Geräte spielen verschiedene Daten 
unterschiedlicher Quellen zu und diese enthalten Audio-Daten - bzw 
"können enthalten".

Klassische Videoübertragungen im Hospital enthalten meistens nur Sprache 
- oder sagen wir "enthielten"!  In jüngster Zeit werden unterschiedliche 
Mikrofone eingesetzt um Operateur und Co-Operateur aufzuzeichnen - auch 
aus rechtlichen Gründen. Eingesetzt werden aber nur Stereodaten. Ich 
möchte mehr.

Vor allem für die Anwendung im Konsumentenbereich ist es angedacht, 
viele Kanäle zu verteilen.

von Dergute W. (derguteweka)


Lesenswert?

Moin,

Um die Stimmung etwas zu trueben: Wie stellst du dir das mit HDCP vor? 
Willste in dem Konsortium Mitglied werden? Wie willst du denen 
verkaufen, dass deine extrahierten (Audio)signale nicht unauthorisiert 
weitergegeben werden?
Oder ist sichergestellt, dass aus deinen saemtlichen Quellen niemals ein 
HDCP verschluesseltes Signal kommt?
Meine Befuerchtung: Technisch ist das unter leichten Schmerzen 
sicherlich (z.B. mit nem FPGA machbar) aber beim nichttechnischen, also 
rechtlichen Part seh' ich unueberwindbare Hindernisse.

Gruss
WK

von Bernd K. (prof7bit)


Lesenswert?

Vielleicht mal ein konkretes Anwendungsbeispiel, in zusammenhängenden 
Sätzen beschrieben, bei dem man erkennen kann:

* worum um alles in der Welt es überhaupt geht
* warum man 8 Tonkanäle über 1 HDMI-Kabel zum Mischpult führen will
* wie man das bisher gemacht hat (Beispiel)
* wie es jetzt gemacht werden soll (und warum)

?

von Irgendwer (Gast)


Lesenswert?

Und wie sieht es mit den reinen Audio-Verstärkern fürs Heimkino aus.
Die haben öfters HDMI als Eingang und 7.1 als Ausgang.

z.B.:
https://www.amazon.de/Yamaha-RX-V675-Netzwerk-AV-Receiver-2-Kanal/dp/B00BLWA0VA/ref=sr_1_15?s=ce-de&ie=UTF8
und vielle weitere in der Art...

von Rolf S. (audiorolf)


Lesenswert?

Bernd K. schrieb:
> * worum um alles in der Welt es überhaupt geht
Um eine Neuentwicklung, die nicht näher beschrieben werden soll, als ich 
es ohnehin bereits getan habe

> * warum man 8 Tonkanäle über 1 HDMI-Kabel zum Mischpult führen will
Weil die Möglichkeit dazu besteht und es bereits einige Audioformate 
gibt, die Mehrkanal über HDMI anbieten

> * wie man das bisher gemacht hat (Beispiel)
Das, was ich machen möchte, wird bisher nicht gemacht

> * wie es jetzt gemacht werden soll (und warum)
siehe Punkt 1

von Rolf S. (audiorolf)


Lesenswert?

Dergute W. schrieb:
> Wie stellst du dir das mit HDCP vor?
> Willste in dem Konsortium Mitglied werden?
Das ist bereits in Klärung. Solange Ich nichts in den Markt bringe, ist 
es unerheblich. Die Endabnehmer allerdings werden dort aktiv werden 
(müssen).


> Oder ist sichergestellt, dass aus deinen saemtlichen Quellen niemals ein
> HDCP verschluesseltes Signal kommt?
Bei den Quellen, die selber eingespeist werden, kann das sicher gestellt 
werden. Es handelt sich um Kamerainstallationen im Medizinalumfeld.

> Meine Befuerchtung: Technisch ist das unter leichten Schmerzen
> sicherlich (z.B. mit nem FPGA machbar)
Das ist auch meine Befürchtung. Allerdings sehe ich das rechtliche als 
machbar. FPGA wäre mir mehr Schmerzen bereiten, da Neuentwicklung.

von Dergute W. (derguteweka)


Lesenswert?

Moin,

Rolf S. schrieb:
> Das ist bereits in Klärung. Solange Ich nichts in den Markt bringe, ist
> es unerheblich. Die Endabnehmer allerdings werden dort aktiv werden
> (müssen).

Mein heisser Tip: Bis das nicht komplett und rechtssicher geklaert ist - 
nix machen. Waer' schad' um die Zeit.

Gruss
WK

von ottonormaloser (Gast)


Lesenswert?

Rolf S. schrieb:
> Leider finde ich weder einen Chip, noch eine Applikation, die es
> gestatten, das auszuwerten.

Wahrscheinlich interessiert das keinen. Wer brauch schon einen Fernseher 
mit 8 Audiokanälen.

von Rolf S. (audiorolf)


Lesenswert?

Ok, einige Beispiele:

Hospital:
8 "Fernseher" mit 8 Gruppen unterschiedlichen Nationen in 8 Sprachen

Surveillance:
4 "Fernseher" mit 4 Stereokanälen zum Auswählen, damit jeder Beobachter 
seinen Tonkanal wählen kann, um Geräusche einer anderen Location zu 
verifizieren

Consumer:
8 Kanal-Audio in full range als Ersatz für 7:1 Suround-Sound

von Horch (Gast)


Lesenswert?

https://www.amazon.de/SIENOC-5-1-Kanal-Konverter-Unterst%C3%BCtzt-Dekodierung/dp/B00OUSA0DK/ref=sr_1_17

S/PDIF / TOSLINK ist auch mehrkanalfähig.

"Interessanter" ist sicher die Encodierung.

von Georg A. (georga)


Lesenswert?

> S/PDIF / TOSLINK ist auch mehrkanalfähig.

Dazu muss das Audio aber komprimiert sein, also AC3, DTS, etc. HDMI kann 
aber tatsächlich 8 PCM Kanäle.

Wenn es was kosten darf, sollte man evtl. in Richtung SDI schauen. 
Nachdem es im Profisegment gebräuchlicher ist, mehrere PCM-Spuren zu 
haben, könnte es da was geben. Ein konkretes Gerät weiss ich aber auch 
nicht. Der Decimator (decimator.com) kann zumindest die Konvertierung 
HDMI->SDI ohne Verlust der Kanäle.

von Rolf S. (audiorolf)


Lesenswert?

Inzwischen habe ich mich noch etwas schlau machen können: Ich habe ein 
Projekt gefunden, wo sie mit einem FPGA aus dem HDMI direkt die 
Audiodaten entnehmen und ausgeben. Das müsste sich auch mehrkanalig 
machen lassen.

von Screenshot (Gast)


Lesenswert?

>Ich habe ein
>Projekt gefunden, wo sie mit einem FPGA aus dem HDMI direkt die
>Audiodaten entnehmen und ausgeben

Lässt Du uns an Deinen Erkenntnissen teilhaben?

von Jobst M. (jobstens-de)


Lesenswert?

Georg A. schrieb:
>> S/PDIF / TOSLINK ist auch mehrkanalfähig.
>
> Dazu muss das Audio aber komprimiert sein, also AC3, DTS, etc. HDMI kann
> aber tatsächlich 8 PCM Kanäle.

Nein. S/P-DIF kann theoretisch beliebig viele PCM Kanäle, im Subcode 
kann die Info für bis zu 15 Kanäle gesetzt werden.
Natürlich steigt dabei die Datenrate.


Gruß

Jobst

von Georg A. (georga)


Lesenswert?

> Nein. S/P-DIF kann theoretisch beliebig viele PCM Kanäle, im Subcode
> kann die Info für bis zu 15 Kanäle gesetzt werden.

Bei SPDIF? Wer nutzt das bzw. hat das spezifiziert? Bei AES3 kenn ich 
den Multichannel-Mode, aber das ist was anderes...

von Jobst M. (jobstens-de)


Lesenswert?

Georg A. schrieb:
> Bei SPDIF? Wer nutzt das bzw. hat das spezifiziert? Bei AES3 kenn ich
> den Multichannel-Mode, aber das ist was anderes...

Ja, bei S/P-DIF.
Ich kenne niemanden, der das nutzt. Ich kenne auch keine Bausteine, die 
das machen.
Das haben sich wohl Sony und Philips so ausgedacht.

Im S/P-DIF Channel-Status werden die Bits 20-23 dafür verwendet, um die 
Anzahl der Kanäle anzugeben.


Gruß

Jobst

: Bearbeitet durch User
von Georg A. (georga)


Lesenswert?

Ähhh, das sind AFAIR dieselben Bits, die es auch bei AES3 gibt. Das ist 
der Multichannel-Mode. Da sollen die Bits aber quasi die Kanalnummer in 
einem Multi-AES/SPDIF-"Bundle" angeben, aber nicht die Anzahl der Kanäle 
an sich im Stream.

von Jobst M. (jobstens-de)


Lesenswert?

Georg A. schrieb:
> Da sollen die Bits aber quasi die Kanalnummer in
> einem Multi-AES/SPDIF-"Bundle" angeben, aber nicht die Anzahl der Kanäle
> an sich im Stream.

Das funktioniert schon aus dem Grund nicht, da bei S/P-DIF die Subcodes 
in allen Kanälen identisch sind.
Und: Sie geht dennoch bis 15.


Gruß

Jobst

von Georg A. (georga)


Lesenswert?

> Und: Sie geht dennoch bis 15.

Jaja, aber das ist eben nur eine ID. Nachdem das wohl schon von Anfang 
an drin war, wo noch nicht absehbar an, dass es mal bis 192kHz geht (und 
da zB. 4*2*48kHz möglich wäre), war der Sinn wohl der, so eine eine Art 
Spar-Source/Destination-ID zu implementieren (wie es sie in AES3 
"richtig" gibt). Evtl. auch, mehrere 2kanalige SPDIF-Verbindungen wieder 
in der richtigen Reihenfolge zusammenzubringen, ohne dass sich der 
Anwender um die korrekte Verkabelung kümmern muss. Ich mach ja seit >20 
Jahren mit SPDIF rum, hab da aber noch nie was davon im Einsatz gesehen. 
Deswegen war ich ja so verwundert ;)

Langer Rede kurzer Sinn: Mehr als zwei unkomprimierte PCMs gibts 
standardisiert in einem Stream nicht. Da brauchts dann ADAT (8x) oder 
MADI (-64x). Und das war eigentlich meine Aussage im Dezember-Post.

von Jobst M. (jobstens-de)


Lesenswert?

Georg A. schrieb:
> war der Sinn wohl der, so eine eine Art
> Spar-Source/Destination-ID zu implementieren

Ich denke ehr, dass der Entwickler, getreten von jemandem aus dem 
Marketing, sich überlegt hat: Da sind noch so viele Bits frei, was 
machen wir denn damit? ...


Georg A. schrieb:
> Ich mach ja seit >20
> Jahren mit SPDIF rum, hab da aber noch nie was davon im Einsatz gesehen.
> Deswegen war ich ja so verwundert ;)

Die 10 Jahre davor war da auch nichts, aber da stand es schon z.B. in 
Datenblättern von Philips drin.


Gruß

Jobst

von Rolf S. (audiorolf)


Lesenswert?

Screenshot schrieb:
>>Ich habe ein
>>Projekt gefunden, wo sie mit einem FPGA aus dem HDMI direkt die
>>Audiodaten entnehmen und ausgeben
>
> Lässt Du uns an Deinen Erkenntnissen teilhaben?


N'Abend, gerne. Hier ist der link auf des Hamsters Seite:
http://hamsterworks.co.nz/mediawiki/index.php/HDMI_Processing

Da wird das Audio scheinens direkt aus den Videodaten rausdekodiert. 
Damit sollten alle Formate, die in HDMI integriert sind, dekodierbar 
sein.

Allerdings bin Ich nicht 100% sicher, ob das (immer) geht, weil es hier 
z.B. wiederum tönt, das HDMI sei verschlüsselt:
http://www.diyaudio.com/forums/digital-line-level/248761-hdmi-audio-format.html

Weiß das jemand?

Wie sieht die rechtliche Seite aus, wenn man ein Gerät veröffentlichen 
möchte? Muss Ich bei der HDMI-Organisation Mitglied sein?

von Jobst M. (jobstens-de)


Lesenswert?

Rolf S. schrieb:
> Weiß das jemand?

Ist das Dein Ernst? Hast Du google mal bemüht?

HDCP heißt das ...

Edit: Ist aber durch bekannt werden des Hauptschlüssels schon 
'geknackt'.


Gruß

Jobst

: Bearbeitet durch User
von Dergute W. (derguteweka)


Lesenswert?

Moin,

Jobst M. schrieb:
> HDCP heißt das ...

Nein. HDCP ist noch ein extra Verein und kost' extra. Spart aber dann 
wieder bei HDMI.
LMGTFY:
http://www.hdmi.org/manufacturer/terms.aspx

>
> Edit: Ist aber durch bekannt werden des Hauptschlüssels schon
> 'geknackt'.

Ist rechtlich aber voellig irrelevant. Hat schon Gruende, warum ich am 
5.12. schrub:

Dergute W. schrieb:
> Mein heisser Tip: Bis das nicht komplett und rechtssicher geklaert ist -
> nix machen. Waer' schad' um die Zeit.

Nochmal: Das technische ist bei HDMI das allerkleinste Problem.

Gruss
WK

von Jobst M. (jobstens-de)


Lesenswert?

Dergute W. schrieb:
> HDCP ist noch ein extra Verein

Stimmt. Trotzdem ist das die Verschlüsselung in HDMI.


Dergute W. schrieb:
> Ist rechtlich aber voellig irrelevant.

Stimmt, er möchte es gewerblich nutzen. Daran hatte ich nicht mehr 
gedacht.


Gruß

Jobst

von J. S. (engineer) Benutzerseite


Lesenswert?

Rolf S. schrieb:
> Allerdings bin Ich nicht 100% sicher, ob das (immer) geht, weil es hier
> z.B. wiederum tönt, das HDMI sei verschlüsselt:

Jobst M. schrieb:
> Stimmt. Trotzdem ist das die Verschlüsselung in HDMI.

Das sind mitunter sogar 2 Paar Schuhe: Das HDCP ist ein Rechteschutz, 
der im technischen Signal steckt und das andere ist eine 
Videoverschlüsselung, die nochmal in den Bilddaten steckt!

Den Rechteschutz kann man praktisch umgehen, wenn das Endgerät ihn 
ignoriert aber die Videoverschlüsselung nicht. Solche 
Bilddatenverschlüsselungen werden in sensiblen Bereichen verwendet, z.B. 
Medizin oder Militär.

Zu dem Vorhaben:

Wenn man nur das Audio rausholen will, sollte das kein Problem 
darstellen, weil der Anbieter zahlen muss.

von Dergute W. (derguteweka)


Lesenswert?

Moin,

Puuh. Also ich kann nur raten, die rechtliche wie auch die technische 
Seite deutlich praeziser zu studieren. Die Unterscheidung in 
"Rechteschutz" und "Videoverschluesselung" klingt - hm - "interessant".

Gruss
WK

von Rolf S. (audiorolf)


Lesenswert?

Jobst M. schrieb:
> Dergute W. schrieb:
>> HDCP ist noch ein extra Verein
> Stimmt. Trotzdem ist das die Verschlüsselung in HDMI.
Die Frage war, ob die Daten pauschal verschlüsselt sind, also wie bei 
einem WLAN erst decodiert werden müssen. Da ist ja offenbar nicht der 
Fall.

Bez. es wäre bei mir nicht der Fall, da die Daten schon auf einem 
Endgerät dargestellt werden und nur durchgereicht werden sollen. Fürs 
Erste geht es mir erst einmal darum die Daten überhaupt zu haben.

> Dergute W. schrieb:
>> Ist rechtlich aber voellig irrelevant.
> Stimmt, er möchte es gewerblich nutzen. Daran hatte ich nicht mehr
> gedacht.
In einem zweiten Schritt, täte Ich auch Daten erzeugen wollen und sie 
einspeisen. Ich nehme an, dass ich dann ein Hersteller bin? Meine Frage 
dazu war, ob Ich dann bei denen Mitglied werden muss?  Die möchten Ganze 
10k per anno an Beitrag.


Jürgen S. schrieb:
> Das HDCP ist ein Rechteschutz, der im technischen Signal steckt
> und das andere ist eine Videoverschlüsselung, die nochmal
> in den Bilddaten steckt!
Wozu hat es zwei verschiedene Verschlüsselungstechniken?

von J. S. (engineer) Benutzerseite


Lesenswert?

Rolf S. schrieb:
> Wozu hat es zwei verschiedene Verschlüsselungstechniken?
Beim HDCP ist die Art der Verschlüsselung bekannt und damit - zumindest 
grundsätzlich - zu knacken und das ist ja auch bereits passiert. Bei 
proprietären Formaten ist das nicht der Fall. Auf 
Consumerbildverschlüsselung mag man sich bei bestimmten Anwendungen 
nicht verlassen :-)

von Rolf S. (audiorolf)


Lesenswert?

Ich greife das Thema nochmals auf. Wenn jemand einen Chip kennt, der 
Mehrkanalig Audio aus dem HDMI (2.0) extrahieren kann, wäre ich für 
einen Hinweis dankbar.

von Jim M. (turboj)


Lesenswert?

Hast Du Dir mal angeschaut was auf den HDMI Capture Karten drauf ist, 
die diverse Video Streamer im Streaming PC verwenden?
Die müssten auch das Audio aus dem HDMI Datenstrom extrahieren können.

HDCP können die aber AFAIK nicht.

von J. S. (engineer) Benutzerseite


Lesenswert?

Jim M. schrieb:
> Hast Du Dir mal angeschaut was auf den HDMI Capture Karten drauf ist,
> die diverse Video Streamer im Streaming PC verwenden?
> Die müssten auch das Audio aus dem HDMI Datenstrom extrahieren können.

Die machen das aber in der Regel über Transceiver Chips und die haben 
diese Option fest eingebaut.

von Rolf S. (audiorolf)


Lesenswert?

Die Video-Dekoder sind mir schon geläufig, aber:

Rolf S. schrieb:
> Gängige Chips für die Videotechnik
> extrahieren nur S/PDIF und sind damit 2-kanalig.

Ich brauche 8-Kanal.

von Dergute W. (derguteweka)


Lesenswert?

Moin,

Hm - hab' jetzt nur mal kurz druebergeschaut, aber da schauts doch so 
aus, als koennten da die meisten mehr als nur 1 Stereopaeaerchen:

http://www.analog.com/en/products/audio-video/hdmidvi-receivers.html

Gruss
WK

von J. S. (engineer) Benutzerseite


Lesenswert?

Kommt auch noch drauf an, welches Audio-Format man übertragen will: 
32-Kanal-Audio-Support gab es erst mit HDMI 1.4 und 
1536-kHz-Audio-Support erst mit HDMI 2.0. Letzteres ist nötig um 8 
Kanäle mit 192kHz zu übertragen.

von T.U.Darmstadt (Gast)


Lesenswert?

Jürgen S. schrieb:
> 1536-kHz-Audio-Support

Wozu braucht es solche Abtastraten?

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.