Forum: Digitale Signalverarbeitung / DSP / Machine Learning Akustik-Kamera: DIY/Maker-Projekte?


von Tobias C. (tobias_claren)


Lesenswert?

Hallo.

Ich fand dies hier:
http://hackaday.com/2016/07/01/1024-pixel-sound-camera-treats-eyes-to-real-time-audio/

Gibt es evtl. irgendwo schon Leute die da dran sind, so etwas für jeden 
nachbaubar zu entwickeln?
Das ist nur ein Beispiel, und da tut sich scheinbar nichts.
Zumindest nicht öffentlich.

Danke.

von Amateur (Gast)


Lesenswert?

>Gibt es evtl. irgendwo schon Leute die da dran sind, so etwas für jeden
>nachbaubar zu entwickeln?
Wahrscheinlich nicht!

Jeder ist wohl gerade nicht da und Alle können damit nichts anfangen.

Schau Dir mal, über den Ärger hinaus, dass keiner Dein Projekt fertig 
macht, den Aufwand an!
Selbst 1024 Mikrofone decken nur einen sehr kleinen Raumwinkel ab. Die 
Signale zu empfangen ist im Grunde genommen nur Fleißarbeit. Etwas damit 
anfangen (Auswerten) ist ein Riesending (Rechenleistung).
Diesen "kleinen" Raumwinkel zu bewegen und das auch noch definiert, 
geräuschlos sowie zügig ist schon eine eigene Herausforderung.

Also viel Spaß.

von Andreas S. (andreas) (Admin) Benutzerseite


Lesenswert?

Die Mikrofone sind nicht gerichtet und müssen nicht bewegt werden, man 
kann mit einem flachen Array 180 Grad abdecken. Man braucht dazu auch 
keine 1024 Mikrofone (die meisten kommerziellen akustischen Kameras 
haben ~100). Die nötige Rechenleistung ist überschaubar, im einfachsten 
Fall genügt eine zweidimensionale FFT. Die Beschreibung im Hackaday-Post 
ist übrigens falsch, ein Mikrofon ergibt kein Pixel, das Pixel wird aus 
allen Mikrofonen berechnet, und die Anzahl der Mikrofone bestimmt auch 
nicht direkt die Anzahl der Pixel.

Das Hauptproblem an der Sache ist, neben dem Schreiben der 
Auswertungssoftware, so viele Mikrofonsignale überhaupt in den PC zu 
bekommen (sinnvoll nur mit einem FPGA zu bewerkstelligen).

von Tobias C. (tobias_claren)


Lesenswert?

@ Amateur

Es gibt so viel, dass frei für JEDEN verfügbar ist, dass auch sehr 
wenige nutzen... DIY-"Ambilights" etc.
Viel spezielles Zeug zum 3D-Drucken etc..
Und was im Grunde ALLE nutzen könnten, da gibt es leider nocht nichts 
bis extrem rudimentär.
Also z.B. transkranielle Stimulation des Gehirns mit Magnetfeldern oder 
noch besser Ultraschall.
Ich weiß immer noch nicht, wo man "capacitive micromachined ultrasonic 
transducers" ("CMUTs") kaufen könnte...
JA, kein Lehrer sollte dessen Benutzung im Unterricht, und sogar während 
Klausuren verbieten können.
Notfalls würde das ein Gericht feststellen.
Ist ja kein Betrug wie Spickzettel...
Oder dieses "aufschaukeln" von bestimmten Hirnwellen durch immer längere 
Rauschphasen, um den Tiefschlaf zu intensivieren und verlängern.
Nein, keine Esoterik, sondern echte Wissenschaft. Alte Menschen haben 
weniger Tiefschlaf, und gerade die könnten so besser/gesünder schlafen.

Auch die Experimente Gedanken sichtbare zu machen sind auch wenn noch 
sehr sehr grob (beim Livevideo gibt es eine sichtbare Grenze zu 
statischen homogenen Teilen wie Himmel etc..) beeindruckend. Das mag 
zwar keinen echten Nutzen haben, aber ein faszinierendes "Spielzeug" 
wäre es schon... Egal ob es ein Videobild ist, dass man gerade sieht, 
oder wenn man träumt.
Man eines Tages seine Träume wie ein Video aufzeichnen kann.
Behauptet zumindest der nicht gerade unqualifizierte Typ, der daran 
forscht...




Hier geht es nicht um ein "Projekt", dass Ich "in Auftrag" gäbe.

Die verlinkte Seite beweist ja schon, dass es dies gibt und im Grunde 
auch so wie dort gezeigt funktioniert.
Und auch davon können eines Tages Pläne im Internet landen.


Was heißt "einen sehr kleinen Raumwinkel"?
Es wäre keine 360°-Audiokamera, ja nicht mal "Weitwinkel" sollte es 
sein.
Das ist GUT.

Das Beispiel auf der Seite sieht schon nicht schlecht aus, auch wenn es 
sehr gering aufgelöst ist.
Also geht es. Und so wie auch bei Wärmebildkameras 160x120 brauchbar 
sind (Ich weiß, dass das 19200 sind), wären auch 1024 "virtuelle Pixel" 
(berechnete "Punkte") über ein echtes Videobild gelegt ein Anfang.

: Bearbeitet durch User
von Detlef _. (detlef_a)


Lesenswert?

Die benutzten MEMS Mikrophone sind wirklich super, ich habe gerade eines 
an den I2S Kanal eines Cortex geknüppert. Kosten nix, 1E oder so und 
geben pulsedichtemoduliertes digitales Signal raus, also keine 
Vorverstärker. 60dB SNR. Mein Mikrophon läßt sich mit 2.5MHz clocken, 
also 2.5MBit/s pro Mikro. Nicht wenig, aber mit nem FPGA sind hunderte 
mics möglich imho. Das ganze ist dann ein phased array für Schall, das 
kann jedes bessere Sonographiegerät. Als Selbstbauprojekt machbar denke 
ich, wenn man sein FPGA im Griff hat. Und grosser Spass dazu.

Cheers
Detlef

von Tobias C. (tobias_claren)


Lesenswert?

Ja, das war mir als relativ betrachtet technischem Laien bekannt.
Hatte hier jemand etwa kritisch einen besonderen Aufwand wegen vieler 
Vorverstärker angenommen?

"€1" für ein Stück aus China über Ebay, oder €1 bei Abnahme von zig, 
Hunderten oder auch mehr?
Denn für so ein Projekt brauch man ja nicht nur ein Mikro.
Und wenn wie hier angesprochen auch von solchen Teilen nur z.B. ~100 
reichen würden, noch besser.

Wenn man jetzt noch eine "Platine" drucken könnte, in der Vertiefungen 
für solche Mikrofone sind, die mit einem zweiten Kopf mit leitfähigem 
Material kontaktiert werden, könnte man die Teile ohne Löten einfach von 
Hand reindrücken... Wenn die beiden Materialien die richtige 
Flexibilität/Steife hätten, könnte man so komplette Platinen inkl. 
Leiterbahnen drucken, in die man ohne löten alles reindrückt. Inkl. ICs. 
Das Leitmatrial müsste gerade so weich sein, dass es nachgibt, aber hart 
genug um die Pins oder eben Beinlose SMD-Bauteile fest zu halten...

Es gibt einige Möglichkeiten eine Audiokamera einzusetzen.
Finden von Geräuschquellen im Motor (es gibt nur Stethoskope, und deren 
Nutzung ist umständlich/ungenau, habe eins), Ich habe da ein Rasseln...
Da es zeitgleich mit dem Ausfall der Klimaanlage auftrat, gehe Ich vom 
Kompressor, bzw. einem Lager aus. Klingt nicht gut, aber keine akute 
Gefahr für den Motor.

Aber auch als "Spielzeug" für so genannte "Geisterjäger", Hobbyisten bis 
Leute die für Dokutainment arbeiten (besser als gar nichts, für die 
Sache...), aber auch evtl. Überbleibsel universitärer Parapsychologie 
irgendwo auf der Erde evtl. interessant.
Zu wissen woher Schall kam, und das evtl. sogar mit Wärmebild, 
"SLS-3D-Mapping-Kamera" kombinierbar.
Ich habe z.B. zurückhaltend ausgedrückt gewisse Zweifel ob die 
"Stickman" in der Kinect-Software nicht einfach Fehlinterpretationen der 
Software etc. sind, aber um so mehr Daten man hat, um so mehr kann man 
sehen ob ein Phänomen zugleich über alle "Kanäle" an einem Ort im Bild 
auftritt.
* Sichtbares Licht / IR, und evtl. UV. Wobei Ich an "UV" bei den 
"Vollspektrumkamera"-Knipsen anzweifele. Dafür braucht es spezielle 
Quarz-Objektive, denn normales Objektivglas schluckt schon das Meiste 
UV.
Der Filter den die da entfernen soll nur den Rest filtern...
* Wärmebild/Thermografie
* Tiefenbild-3D-Kamera (Kinect).
Die sind für Privat fast schon normal...
* Audiokamera: Wäre noch eine praktische Ergänzung.
Um so mehr Daten an einem Ort (in den Videos) zugleich auftreten, um so 
besser. Evtl. auch an einem EMF-Meter, dass extra ausgelegt wurde, und 
zeitgleich an einem Mikrofon oder evtl. besser "Telephone Pivk-Up Coil" 
(die stellt sicher, dass es kein Schalleinfluss ist, was man im 
Audiorekorder auzeichnet).



Fehlt noch die eher theoretische "Radiowellenkamera" ;-) .
Aber man findet zumindest wissenschaftliche Artikel in der Richtung.

: Bearbeitet durch User
von Ordner (Gast)


Lesenswert?

Sind da die Abstände nicht ein wenig groß zwischen den MEMs?

von Harald (Gast)


Lesenswert?

>Sind da die Abstände nicht ein wenig groß zwischen den MEMs?

Ich glaube die Abstände sollten in der Größenordnung der Wellenlänge 
liegen.

Der Abstand könnte im Bild vielleicht 1cm? sein.

l=c/f
f=340m/s / 0.01m = 34kHz maximal Frequenz.


Übrigens:
Ich sehe 8x8x4 = 256  Mikrofone.

von Harald (Gast)


Lesenswert?


von Tobias C. (tobias_claren)


Lesenswert?

Oder so, 112 verteilt auf einer runden Fläche:
https://www.cae-systems.de/en/products/acoustic-camera-sound-source-localization/bionic-s-112.html

Hier mehrere Typen:
https://www.acoustic-camera.com/de/produkte/mikrofon-arrays.html

Zwischen 5 und 500m ist interessant für Flächenaufnahmen, wenn man 
wissen will woher der Schall kam:
https://www.acoustic-camera.com/de/produkte/mikrofon-arrays/star-48-ac-pro.html

Ansonsten unter den Kreisen die mit zwischen 1,5m und 20m:
https://www.acoustic-camera.com/de/produkte/mikrofon-arrays/ring-72-120-ac-pro.html
Allerdings auch "abhängig von der spektralen Zusammensetzung"...

: Bearbeitet durch User
von Markus K. (markus-)


Lesenswert?

Tobias C. schrieb:
> Also geht es. Und so wie auch bei Wärmebildkameras 160x120 brauchbar
> sind (Ich weiß, dass das 19200 sind), wären auch 1024 "virtuelle Pixel"
> (berechnete "Punkte") über ein echtes Videobild gelegt ein Anfang.

Diese 1024 Punkte müssen nicht in einem 32x32-Raster liegen, wie man das 
von Kameras kennt.

Wenn Du zB eine einzelne Geräuschquelle hast und 2 Mikrophone 
nebeneinander, dann kannst Du damit den horizontalen Winkel der Quelle 
bestimmen. Man vergleicht einfach, mit welcher zeitlichen Verzögerung 
das Signal an den beiden Mikrofonen ankommt. Im Prinzip funktioniert das 
mit beliebiger Genauigkeit, praktisch ist man durch die Genauigkeit der 
Mikrophone/Wandler und das Rauschen beschränkt.

Hat man mehrere Mikrofone, dann kann man mehrere Geräuschquellen 
auseinanderhalten, aber mit der Auflösung hat das erstmal nichts zu tun.

Tobias C. schrieb:
> Tiefenbild-3D-Kamera (Kinect).

Diese Kameras sind oftmals lichtscheu (mögen keine Sonne) und haben eine 
geringe Reichweite von nur ein paar Metern.


Tobias C. schrieb:
> Fehlt noch die eher theoretische "Radiowellenkamera" ;-) .

Radiowellenkameras mit "Beleuchtung" nennt man Radar. Rein passiv gibts 
zB das da: 
https://de.wikipedia.org/wiki/Atacama_Large_Millimeter/submillimeter_Array

: Bearbeitet durch User
von Tobias C. (tobias_claren)


Lesenswert?

Natürlich mag die Kinect keine Sonne, die enthält ja IR-Licht.

Ja, das mit der Entfernung ist problematisch.
Im genanten Szenario gibt es aber oft auch andere Gründe es nicht gerade 
bei voller Sonne einzusetzen.
Z.B. wurden Lichter in Brieselang wohl nie am hellen Tag gesehen.
Logisch, wenn da was im Wald auf den Weg und zwischen den Baumkronen 
ist, dass Licht ausstrahlt, dann würde es am hellichten Tag durch durch 
die Sonne überstrahlt und durchstrahlt. Genau so mit ganz schwach 
leuchtenden Erscheinungen.
Ist leider kein HD, und nicht auf Vollbild zu ziehen, und man sollte es 
auf einem guten Monitor/TV betrachten, ab 14:34min:
http://www.tlc.de/sendungen/72-stunden-im-geisterhaus/videos/72-stunden-im-geisterhaus-geisterjaeger-spezial/
Ich erkannte schon im DVB-S-1080i-Original sofort die menschliche 
Körperform und Art der Fortbewegung, die drei vor Ort scheinbar nicht 
mal vor Ort auf der Kamera. Von wegen "Schlange" und "Tier". Keine 
"Täuschung", die den Körper nach vorne ziehenden Arme und der 
hinterherschleifende Körper sind zu erkennen.
Wer weiß, ob man ohne aktive IR-Leichte nicht sogar mehr hätte erkennen 
können.
Denn IR-Licht dass in eine IR-Kamera (z.B. Funktion die den Filter innen 
mechanisch herunterfährt) fällt, würde ja auch sichtbares Licht 
überstrahlen.
Hier war es evtl. Glück, dass es so weit hinten war, und die Intensität 
an der Wand dahinter (welche ja IR-Licht reflektiert, und dann auch 
durch solche Objekte zurück in die Kamera strahlt) war nicht sehr hoch.
Auch wenn man praktisch nur "schwarz" filmen würde, ohne IR-Licht wäre 
es evtl. deutlicher zu erkennen gewesen. Besserer Kontrast.
Leider kann man ja nicht beides zugleich haben. Ein Versuch wäre es 
zugleich mit IR-Kamera, und mit normaler Kamera (die aber sehr gut gegen 
IR filtert) zu filmen. So hat man die Umgebung und Räume als IR-Bild, 
und falls etwas im sichtbaren Bereich erscheint, dieses getrennt davon. 
Könnte die Bilder evtl. auch kombinieren.
Ideal wäre wohl (chemisches) Restlicht, aber als Aufsatz für Kameras 
scheint es so etwas nicht zu geben.



Nein, mit Radiowellenkamera ist eine Kamera gemeint, die passiv den Ort 
von dem Radiowellen ausgehen im Videobild anzeigt.
Man könnte im realen Videobild überlagert (in Farben, wie bei den 
Audiokameras) sehen wie Radiowellen von einem Punkt ausgehen.
Von jedem Mobiltelefon, von Funktürmen etc.
Ähnlich wie bei den Wärmebildkameras die Farbe die Temperatur 
symbolisiert, symbolisieren die Farben dann die Frequenzen.

von Mac G. (macgyver0815)


Lesenswert?

Tobias C. schrieb:
> Fehlt noch die eher theoretische "Radiowellenkamera" ;-) .



Tobias C. schrieb:
> Nein, mit Radiowellenkamera ist eine Kamera gemeint, die passiv den Ort
> von dem Radiowellen ausgehen im Videobild anzeigt.



Das machen RADIOteleskope ganz praktisch, wenn auch für etwas größere 
Ziele und nicht ganz so berauschenden Frameraten ;-)


https://de.wikipedia.org/wiki/Datei:USA.NM.VeryLargeArray.03.jpg

von Markus K. (markus-)


Lesenswert?

Tobias C. schrieb:
> Nein, mit Radiowellenkamera ist eine Kamera gemeint, die passiv den Ort
> von dem Radiowellen ausgehen im Videobild anzeigt.

ALMA misst die Radiowellen, die kann man dann dann natürlich auch mit 
einem Bild aus dem sichtbaren Bereich überlagern.

Wenn Du das für normale Anwendung willst, dann geht das wie mit der 
Mikrofonkamera: Mehrere (viele) Empfangsantennen, die dann hinterher 
verrechnet werden. Die Technik ist die gleiche wie beim Radar, nur dass 
man halt keinen Sender hat. Allerdings ist das elektromagnetische 
Spektrum größer als der Bereich des hörbaren Schalls, deswegen ist das 
nicht so einfach, das allgemein zu lösen.

Beitrag #5070429 wurde von einem Moderator gelöscht.
von Edi M. (Gast)


Lesenswert?

Mal zurück zu Akustik: Mikrofone empfangen von allen Seiten. Wie rechnet 
man das weg? Ein Überlagern und selektives Rechnen erfordert ein 
permanentes Signal. Wird dort wiederkehrend abgespielt um die einzelnen 
Punktintensitäten zu ermitteln? Oder erfolgt es aus einem Speicher?
Ich nehme an letzteres, oder?

von Tobias C. (tobias_claren)


Lesenswert?

Es muss ja nicht nur der hörbare Schall sein, auch US und IS wären ja 
praktisch...

Was heißt denn "Normale Anwendung".
Also von etwas, dass man auch sehen kann ;-) .

von Edi M. (Gast)


Lesenswert?

War das jetzt eine Antwort auf meine Frage?

von Markus K. (markus-)


Lesenswert?

Edi M. schrieb:
> Mal zurück zu Akustik: Mikrofone empfangen von allen Seiten. Wie rechnet
> man das weg? Ein Überlagern und selektives Rechnen erfordert ein
> permanentes Signal. Wird dort wiederkehrend abgespielt um die einzelnen
> Punktintensitäten zu ermitteln? Oder erfolgt es aus einem Speicher?
> Ich nehme an letzteres, oder?

Mir ist nicht ganz klar, was Du meinst. Man sampled für eine gewisse 
Zeit und dann macht man zB eine 2D-FFT darauf. Währenddessen empfängt 
man die nächsten Daten usw.

von Tobias C. (tobias_claren)


Lesenswert?

Edi M. schrieb:
> War das jetzt eine Antwort auf meine Frage?

MIR war nicht ganz klar, was bei so etwas "normale Anwendung" ist.

von Horst (Gast)


Lesenswert?

Die Radiowellenkamera ist mit einem passiven Radar sehr einfach zu 
lokalisieren. Wenn man mehr finden will, auf englisch Passive Coherent 
Location.
Hier sind die Systeme aber oft so leistungsfähig, dass sie 
Radio-/DVB-T-Sendetürme als Beleuchter nutzen und dann noch andere davon 
angestrahlte Objekte detektieren und lokalisieren.

von Audiomann (Gast)


Lesenswert?

Das hat aber jetzt mit Akustik weniger zu tun. Finde Ich aber 
interessant, dass sowas geht. Wenn Ich es richtig verstehe, muss man nur 
die LTE-Primärsignale scannen, um einen Vergleich zu den Reflektionen 
der anderen Objekte zu haben. Wie ermittelt man die Distanz der 
LTE-Sender?

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.