ESP Claw lokale KI?

[Christoph M. (mchris)]

Kann man ESP-Claw so konfigurieren, dass es mit lokalen KI-Modellen 
läuft?
https://esp-claw.com/en/tutorial/

Interessant wäre es, dass auf einem Board mit Display und Mikrophon 
laufen zu bekommen. Das Unhiker K10 wäre hier vielleicht nicht schlecht, 
weil es schon alle Komponenten hat:
https://www.unihiker.com/products/k10

edit:
GitHub Code Repo:
https://github.com/espressif/esp-claw/tree/master

[Εrnst B. (ernst)]

Christoph M. schrieb:
> Kann man ESP-Claw so konfigurieren, dass es mit lokalen KI-Modellen
> läuft?

Können schon, aber:
>> ESP-Claw’s self-programming, complex tool combination, and other advanced
>> features rely on the ability of strong reasoning models. We recommend
>> using GPT-5.4, Qwen3.6-plus, Claude4.6-sonnet, DeepSeek v4 Pro, or
>> similar performance models to get the best experience.

[Christoph M. (mchris)]

Εrnst B. schrieb:
> Können schon, aber:
Bist du dir sicher? Ich bin zufällig auf diesen Feature-Request 
gestoßen:
https://github.com/espressif/esp-claw/issues/27

>>> ESP-Claw’s self-programming, complex tool combination, and other advanced
>>> features rely on the ability of strong reasoning models.

Ich würde es gerne mal mit einem schwachen, lokalen Modell probieren und 
schauen, was raus kommt.

[Εrnst B. (ernst)]

Christoph M. schrieb:
> Ich würde es gerne mal mit einem schwachen, lokalen Modell probieren und
> schauen, was raus kommt.

Dann mach das doch. Einfach in den LLM-Settings die URL zu deinem 
Ollama-Docker-Container eintragen. Timeout entsprechend hoch wählen.

[Christoph M. (mchris)]

Jetzt gibt es auf Heise einen Beitrag dazu:
https://www.heise.de/news/ESP-Claw-bringt-KI-Agenten-direkt-auf-den-ESP32-11276353.html
Ich schätze das so ein:
Für ein lokales LLM ist der ESP32-S3 geschätzt um den Faktor 1000 zu 
leistungsschwach und der Speicher zu klein. ESP-Claw nutzt hier wohl 
externe Modelle, aber am Schluss kann dann der erstellt Code (z.B. die 
Ansteuerung eines RGB Lichtschlauchs) lokal auf dem ESP laufen.

[Εrnst B. (ernst)]

Christoph M. schrieb:
> ESP-Claw nutzt hier wohl
> externe Modelle

Nicht "wohl", sondern macht es. In den Settings trägst du API-Endpunkt 
und Access-Token etc. für die externe KI ein.
Es ging darum, ob man da statt dem OpenAI-Endpunkt in der Cloud einfach 
den OpenAI-Kompatiblen Endpunkt von einer lokalen Ollama-Instanz 
eintragen kann.

https://docs.ollama.com/api/openai-compatibility

[Christoph M. (mchris)]

Εrnst B. schrieb:
> Nicht "wohl", sondern macht es. In den Settings trägst du API-Endpunkt
> und Access-Token etc.

Danke für den Hinweis. Hast du ESP-Claw schon probiert? Ich würde es 
gerne entgegen der Empfehlungen mit einem schwachen, lokalen Modell 
probieren. Im Moment ist meine Infrastruktur aber noch nicht so weit und 
falls ich es auf dem K10 probieren will, ist da wohl noch einiges an 
Anpassungsarbeit für die Anbindung der Treiber für das Microphon und der 
Kamera notwendig, was ich im Moment auch noch scheue.