Audio Frontend: ZL38063 - Zugriff auf MiTuner Software? Alternative DSPs?

[Julian W. (julian-w)]

Hallo,

ich plane einen eigenen Smart Home Assistenten zu bauen und 
recherchiere, welches Audio Frontend nutzbar wäre. Must have sind:
- AEC (Acoustic Echo Cancellation)
- Near/Mid/Far-field voice pick-up
- Beam forming / BSS (Blind Source Separation)
- AGC (Automatic Gain Control)
- VAD (Voice Activity Detection)

Nice to have:
- Sound location estimation
- ASR (Automatic Speech Recognition)
- Wake Word

Zu Hause hab ich noch ein ESP32-LyraTD-MSC gefunden und wollte damit 
beginnen. Dort ist der ZL38063 verbaut der alle Anforderungen erfüllt.

Beitrag "Espressif ESP32 LyraTD MSC"

https://docs.espressif.com/projects/esp-adf/en/latest/design-guide/dev-boards/get-started-esp32-lyratd-msc.html

Die Idee wäre den ZL38063 das Audio Preprocessing machen zu lassen und 
den ESP32-S3 für ein eigenes Wake Word Modell zu nutzen. Allerdings 
bekommt zum ZL38063 (und Konsorten) leider überhaupt keine Infos oder 
Tools wie den Timberwolf MiTuner. Die Websites, auf denen man angeblich 
die Infos nach Registrierung bekommt 
(sds.microchip.com/sds.microsemi.com) sind schlichtweg tot.

Die Alternative wäre wohl das ESP-SR Framework, nur leider wird der 
ESP32-S3 damit voll ausgelastet:

https://docs.espressif.com/projects/esp-sr/en/latest/esp32s3/audio_front_end/README.html

Hat jemand Erfahrung, ob man da überhaupt rankommt ohne große Mengen 
abzunehmen?

Liebe Grüße
julian-w

[Thomas F. (tf1973)]

Wie möchtest du die AEC realisieren? Ich hatte vor einiger Zeit 
beruflich diverse Firmen angefragt zwecks Zukauf von AEC Algorithmen in 
eigenen Produkten - die Lizenzierung ist ein teurer Spaß. Bin mir nicht 
sicher ob das für ein privates Projekt lohnenswert ist....

[Julian W. (julian-w)]

Thomas F. schrieb:
> Wie möchtest du die AEC realisieren?

Am liebsten mit etwas bestehendem. Im Zweifel teste ich mal das ESP-ADF 
oder ESP-SR aus, dort ist jeweils AEC implementiert. Und der Code steht 
unter der MIT Lizenz.

[Rolf S. (audiorolf)]

Wenn du davon, was du da oben so aus dem Knie heraus gelistet hast, auch 
nur 10% versuchst, selbst umzusetzen, wenn du keine Ahnung davon hast, 
bis zu 1J und mehr beschäftigt.