Hallo, ich plane einen eigenen Smart Home Assistenten zu bauen und recherchiere, welches Audio Frontend nutzbar wäre. Must have sind: - AEC (Acoustic Echo Cancellation) - Near/Mid/Far-field voice pick-up - Beam forming / BSS (Blind Source Separation) - AGC (Automatic Gain Control) - VAD (Voice Activity Detection) Nice to have: - Sound location estimation - ASR (Automatic Speech Recognition) - Wake Word Zu Hause hab ich noch ein ESP32-LyraTD-MSC gefunden und wollte damit beginnen. Dort ist der ZL38063 verbaut der alle Anforderungen erfüllt. Beitrag "Espressif ESP32 LyraTD MSC" https://docs.espressif.com/projects/esp-adf/en/latest/design-guide/dev-boards/get-started-esp32-lyratd-msc.html Die Idee wäre den ZL38063 das Audio Preprocessing machen zu lassen und den ESP32-S3 für ein eigenes Wake Word Modell zu nutzen. Allerdings bekommt zum ZL38063 (und Konsorten) leider überhaupt keine Infos oder Tools wie den Timberwolf MiTuner. Die Websites, auf denen man angeblich die Infos nach Registrierung bekommt (sds.microchip.com/sds.microsemi.com) sind schlichtweg tot. Die Alternative wäre wohl das ESP-SR Framework, nur leider wird der ESP32-S3 damit voll ausgelastet: https://docs.espressif.com/projects/esp-sr/en/latest/esp32s3/audio_front_end/README.html Hat jemand Erfahrung, ob man da überhaupt rankommt ohne große Mengen abzunehmen? Liebe Grüße julian-w
:
Bearbeitet durch User
Wie möchtest du die AEC realisieren? Ich hatte vor einiger Zeit beruflich diverse Firmen angefragt zwecks Zukauf von AEC Algorithmen in eigenen Produkten - die Lizenzierung ist ein teurer Spaß. Bin mir nicht sicher ob das für ein privates Projekt lohnenswert ist....
Thomas F. schrieb: > Wie möchtest du die AEC realisieren? Am liebsten mit etwas bestehendem. Im Zweifel teste ich mal das ESP-ADF oder ESP-SR aus, dort ist jeweils AEC implementiert. Und der Code steht unter der MIT Lizenz.
Wenn du davon, was du da oben so aus dem Knie heraus gelistet hast, auch nur 10% versuchst, selbst umzusetzen, wenn du keine Ahnung davon hast, bis zu 1J und mehr beschäftigt.
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.