ESP32-S3 --> ASR-Server

Programmierergüsse der KI (Beispielcode, Custom Component, I²S, Wake Word Task, MQTT):

1

// ===============================

2

// ESPHome Custom Component Skeleton für Audio / Wake Word

3

// ===============================

4

5

#include "esphome.h"

6

7

class AudioTrigger : public Component, public PollingComponent {

8

public:

9

  AudioTrigger() : PollingComponent(10) {} // Polling alle 10ms

10

11

  void setup() override {

12

    // Mikrofon / I2S initialisieren

13

  }

14

15

  void update() override {

16

    // Wake Word Detection / Pegel

17

    if (wakeword_detected()) {

18

      // MQTT oder ESPHome Event auslösen

19

      id(my_binary_sensor).publish_state(true);

20

    }

21

  }

22

};

23

24

// ===============================

25

// I2S Initialisierung (ESP-IDF / Arduino)

26

// ===============================

27

i2s_config_t i2s_config = {

28

    .mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX),

29

    .sample_rate = 16000,

30

    .bits_per_sample = I2S_BITS_PER_SAMPLE_16BIT,

31

    .channel_format = I2S_CHANNEL_FMT_ONLY_LEFT,

32

    .communication_format = I2S_COMM_FORMAT_I2S_MSB,

33

    .intr_alloc_flags = ESP_INTR_FLAG_LEVEL1,

34

    .dma_buf_count = 8,

35

    .dma_buf_len = 64,

36

    .use_apll = false

37

};

38

i2s_driver_install(I2S_NUM_0, &i2s_config, 0, NULL);

39

40

// ===============================

41

// FreeRTOS Task für Wake Word Detection

42

// ===============================

43

xTaskCreatePinnedToCore(

44

    wakeWordTask,       // Task Funktion

45

    "WakeWordTask",     // Name

46

    4096,               // Stackgröße

47

    NULL,               // Parameter

48

    1,                  // Priorität

49

    NULL,               // Task Handle

50

    1                   // Core 1

51

);

52

53

// ===============================

54

// Audio-Paketierung & MQTT Streaming

55

// ===============================

56

while(streaming) {

57

    size_t bytes_read;

58

    i2s_read(I2S_NUM_0, buffer, buffer_size, &bytes_read, portMAX_DELAY);

59

    mqtt_publish_audio(buffer, bytes_read);

60

}

PS: Irgendwie funktioniert die Formatierung hier gerade nur in der Vorschau...

D a v i d K. schrieb:

Daher hier die Blaupause, die mir die KI nach ca. 30 min Gespräch ausgespuckt hat.

Lass es doch bitte einfach bleiben.

Es hat keinen Sinn, das Forum mit KI-Slop zuzumüllen.

Harald K. schrieb:

Es hat keinen Sinn, das Forum mit KI-Slop zuzumüllen.

Es hieß in der Vergangenheit immer: "mehr Kontext, wir haben keine Glaskugel" Nun gebe ich den Minimalauszug meiner Recherge und es ist auch wieder falsch. (Ich hoffe es atet nun nicht wieder in Shitstorm aus, denn diese Art von Vermüllung hatten wir bereits immer)

Freue mich auf hilfreiche Info (den Code kann ich gerne versuchen noch zu löschen, auch wenn ich ihn als Ansatz ebenfalls interessant fand)

D a v i d K. schrieb:

Freue mich auf hilfreiche Info

Bei was denn?

Du wirst den Shitstorm eher dadurch auslösen, daß Du erst irgendwelche Dinge von der KI "programmieren lässt" und diese dann durch uns gefixt haben willst, weil die KI es eben doch nicht so richtig bringt.

Ich finde es durchaus interessant, was eine KI heute für Programme schreiben kann, aber wenn man es richtig gut haben will oder irgendwas nicht so funktioniert wie es soll, dann kommt man eben immer noch nicht drum herum, selbst programmieren zu lernen.

Für die ESP32 findet man sehr viele Möglichkeiten und Bibliotheken in der Arduino-Umgebung.

Alexander schrieb:

D a v i d K. schrieb:

Freue mich auf hilfreiche Info

Bei was denn?

welche Community-Projekte sich mit diesen Themen bereits beschäftigen

Ben B. schrieb:

Du wirst den Shitstorm eher dadurch auslösen, daß Du erst irgendwelche Dinge von der KI "programmieren lässt" und diese dann durch uns gefixt haben willst...

Nein, Copilot und Co liefern immer nur Ansätze. Was mir dort die letzten 6 Monate vorgeschlagen wurde war immer schlechter als mein Code und kam nie zum Eisatz. Ich kenne die Problematik also und würde es nie von Jemand anderen verlangen.

Für die ESP32 findet man sehr viele Möglichkeiten und Bibliotheken in der Arduino-Umgebung.

Das ist ja auch nur eine Chipfamilie. Bibliotheken werde ich sicher selbständig finden. Mir geht es um ganze Projekte oder Frameworks, damit man das Rad nicht neu erfinden muss bzw. sicher auf die Kernprobleme /"das neue" konzentrieren kann.

Niemand will die 30. MQTT Lib bauen oder den 101. IP-Stack für die kleinen Biester. Gleiches gilt für Displays und Touches.

95% meiner Anforderung erfüllt ja ESPHome. Einige % kommen jetzt durch die neue Hardware daher, die halt noch nicht includiert sind und ich möchte wissen wer damit bereits Erfahrungen hat.

Keine Vorgebeten Endlösungen aus dem Forum hier (ich weiß nicht wieseo dies immer eines der ersten Vorwürfe ist) sondern einfach nur Hilfe zur Selbsthilfe in Form von Quellen, Stichworten oder State of the Art Erfahrungen.

LG

D a v i d K. schrieb:

welche Community-Projekte sich mit diesen Themen bereits beschäftigen

Ich verstehe immernoch nicht wonach Du fragst. Suchst Du eine Alternative zu Tasmota?

Der Text mit Pfeilen → und mit Sternchen triggert. Da er einen großen Teil Deines Posts ausmacht habe ich nicht weitergelesen. Es wäre einfacher wenn Du ein konkretes Anliegen mit eigenen Worten formulieren könntest. Welche Anforderungen sind denn bei Dir dazugekommen, was willst Du realisieren?

Für die ESP32 findet man sehr viele Möglichkeiten und Bibliotheken in der Arduino-Umgebung.

Das ist ja auch nur eine Chipfamilie. [..]

So so. Das solltest Du vielleicht nochmal nachlesen.

Ansonsten halt wirklich einfach was eigenes schreiben, so schwer ist MQTT nun auch wieder nicht. Umständlich ist es, obwohl es angeblich genau für kleine Controller bzw. IoT gemacht ist... aber meiner Meinung nach ist das Protokoll mit seiner dummen Längenkodierung vermischt mit den Nutzdaten der letzte Scheiß. Mit Telegrammen, in denen man einfach 2 oder 4 Byte zur Angabe der Länge der Nutzdaten hat, wäre das erheblich einfacher und übersichtlicher gewesen, auch auf kleinen Controllern.

Alexander schrieb:

was willst Du realisieren?

Global in meinem IoT: Umstellung von Tasmota auf ESPHome (da ersteres nur sehr eingschränkt eigenen Code Scripte zulässt)

Konkret: Einen Mikropfon-Satelliten für jeden Raum. (Der aber auch noch kleinere Sensor und Aktoren-Aufgaben übernimmt, damit ich dafür nicht erneut einen ESP benötige)

PS: Mir könnte ja auch einer der Admins hier verraten, warum die Formatierung im Makroviewer der Vorschau noch funktioniert und beim finalen Absenden nicht mehr. Danke.

Die Threads die es hier für ESPHome gibt sehen alle sehr nach Einzelkämpfer aus, da ist nicht viel Input gekommen. Ich bin da auch raus.

Alexander schrieb:

Die Threads die es hier für ESPHome gibt sehen alle sehr nach Einzelkämpfer aus, da ist nicht viel Input gekommen. Ich bin da auch raus.

Danke, ich hege aber die stille Hoffnung, dass es auch anderen guten Foren gibt und es erlaubt sei Quellen außerhalb von <<hier>> zu posten.

D a v i d K. schrieb:

und es erlaubt sei Quellen außerhalb von <<hier>> zu posten.

Ist es ja auch. KI-Slop aber ist keine Quelle.

Harald K. schrieb:

D a v i d K. schrieb:

und es erlaubt sei Quellen außerhalb von <<hier>> zu posten.

Ist es ja auch. KI-Slop aber ist keine Quelle.

Ahhhhhhhh.....soryy :P Ich brauche doch kein Forum um Selbstgespräche zu führen ;)

Wenn ich eine Lösung hätte würde ich doch das Endprodukt präsentieren. Mein Anliegen ist nicht "Slop" als Quelle zu erklären, sondern euch zu bitten mir Quellen zu nennen.

D a v i d K. schrieb:

Mein Anliegen ist nicht "Slop" als Quelle zu erklären, sondern euch zu bitten mir Quellen zu nennen.

Ach. Und was sollte dann Dein Eröffnungsbeitrag hier?

Ich geb es auf.

@Admin bitte komplett löschen.

Ich geb es auf. @Admin bitte komplett löschen.

Das gibst Du auch noch auf.

Ich bin auf der Suche nach SSL auf dieses Repo gestoßen, vielleicht ist es ja interessant für Dich

https://github.com/jahm86/AsyncMQTT_Generic/blob/main/examples/ESP32/FullyFeaturedSSL_ESP32/FullyFeaturedSSL_ESP32.ino