Mikrocontroller für KI

[Christoph M. (mchris)]

Mittlerweile gibt es ja schon einige Mikrocontroller mit 
KI-Beschleuniger.
Es gibt den ESP32-S3 mit SIMD-Befehlen zur Beschleunigung der 
Neuronenberechnung.
Es gibt auch die STM32N6 Serie, die wohl auch einen Beschleuniger 
drinnen hat. Mich interessiert die konkrete Struktur, aber im Netz 
findet man vorwiegend nur Marketinggelaber.
Die Frage ist, was kann man mit KI auf dem Mikrocontroller machen.

Es gibt von STM einen Modellzoo, aber ob das die Hauptanwendungen sind?

https://stm32ai.st.com/model-zoo/

[Bradward B. (Firma: Starfleet) (ltjg_boimler)]

> Es gibt den ESP32-S3 mit SIMD-Befehlen zur Beschleunigung der
> Neuronenberechnung.

> Die Frage ist, was kann man mit KI auf dem Mikrocontroller machen.

Die Frage ist, was ist überhaupt "KI" in diesem Fall?
Machine Learning" -ML- ist im embedded der passendere Begriff und da 
gibt es seit Jahrzehnten etliches, bspw. auch NPC-Spiele-Algorithmen. 
Oder wenigsten mit edge-AI.

Nur nach KI gefragt wird's doch nur wieder "Bullshit-Bingo".

Da mal ein Paper zu einer praktischen  "AI-Anwendung" auf STM32:

"... integrating a machine learning–based In-
trusion Detection System (IDS) on the STM32F407-DISCO
platform. ... A lightweight
deep learning model was optimized for embedded deployment,
achieving reliable classification accuracy with low memory
and computational overhead ... "

https://openreview.net/pdf?id=Y6SAZDGWtl

Da eine (?) AI-library für STM32:
https://wiki.st.com/stm32mcu/wiki/AI:NanoEdge_AI_Library_for_anomaly_detection_(AD)

[Christoph M. (mchris)]

Welcher der beiden Mikrocontroller hatte ein höhere KI-Rechenleistung?

1. Der ESP32-S3
2. Ein STM32N6

[Michael B. (laberkopp)]

Christoph M. schrieb:
> Die Frage ist, was kann man mit KI auf dem Mikrocontroller machen.

Nichts, ausser Marketing.

Mit ach und krach bekommt man eine einzelne Logikfunktion hin. Bekannt 
ist das NOT abgebildet mit einem Neuronennetz.

[Christoph M. (mchris)]

Michael B. schrieb:
> Christoph M. schrieb:
>> Die Frage ist, was kann man mit KI auf dem Mikrocontroller machen.
>
> Nichts, ausser Marketing.
>
> Mit ach und krach bekommt man eine einzelne Logikfunktion hin.

[ ] Du hast dir die Seite im ersten Post angeschaut: 
https://stm32ai.st.com/model-zoo/
[ ] Du kennst dich mit der Thematik aus

[Vanye R. (vanye_rijan)]

> Welcher der beiden Mikrocontroller hatte ein höhere KI-Rechenleistung?

Bei Embedded solltet man eher fragen: hoehere KI-Rechenleistung pro mA!

Zumindest ich kann keine Kuehlkoerper auf die MCUs nageln bloss weil BI 
zu faul zum selber denken war...

Vanye

[Christoph M. (mchris)]

Vanye R. schrieb:
> Bei Embedded solltet man eher fragen: hoehere KI-Rechenleistung pro mA!

Das könnte bei Rechnern mit großer Graphikkarte auch eine Rolle spielen. 
Wenn die 300W hat laufen die Stromkosten bei längerem Betrieb auch ins 
Geld.

Bei den Embedded-Systemen würde ich die Neuro-Architektur als sehr 
relevant einschätzen. Während der ESP32-S3 die SIMD Befehle mit 
load/store hat, könnte der ST32N6 schon eine Art NPU haben, mit der man 
Matrixmultiplikaitonen in einem Rutsch durchführen kann (das wäre 
wichtig für die CNN um die Bilder zu klasifizieren). Welche 
Rechengenauigkeit möglich ist und ob die Aktivierungsfunktionen gleich 
mitgerechnet werden können, wird sicherlich auch ein große Rolle 
spielen.

[Christoph M. (mchris)]

Wie kann man einen einfache Schrifterkennung auf das Unhiker K10 
bringen?

Es gibt den MNIST Datensatz (handschriftliche Ziffern von 0-9) mit dem 
Modelle trainieren kann:
https://www.geeksforgeeks.org/machine-learning/mnist-dataset/

Welche Toolchain kann man nutzen, um ein funktionierendes Beispiel zu 
erzeugen?

Eigentlich gäbe es Tensorflow-Lite:
https://www.unihiker.com/new-17372.html

Weil das flashen mit der Arduino-Umgebung relativ lange geht, wäre mir 
ein Micropython Bibliothek lieber.