NPUs in Embedded Systems

[Richard W. (bouldrini)]

Tag Leute,

ich wollte mal Fragen welche NPUs es so gibt und wo man sie kaufen kann.

Ich weiss ARM hat einen ML Processor entwickelt, aber ich sehe nirgendwo 
ein Preisschild daran, geschweige denn wie man ihn ansteuern kann.

Gibt es NPUs die man quasi als Modul mit einem Microcontroller ansteuern 
kann ?

Ich hoffe ihr könnt mir ein paar Links schicken, sodass ich weiter ins 
Thema komme.

Viele Grüße

[Syggie Synapse (Gast)]

Frag mal bei Siemens obs se ein paar synapse-1 prozessoren aus dem 
lager/Museum holen könnten. 
https://www.computerwoche.de/a/neurocomputer-synapse-1-wird-auf-cebit-vorgestellt-sni-will-mainframes-oeffnen-und-mit-cluster-konzept-flottmachen,1119692

Oder mach dir die NPU mit nen FPGA selbst:
https://wirautomatisierer.industrie.de/systeme/steuerungsprogrammierung/einsatz-von-hybriden-cpu-fpga-chips-in-embedded-systems/

[... (Gast)]

Ich hab hier eine FFT-NPU STV0300L von ST.

Eine komplexe FFT mit 8192 Punkten rechnet die in 410 us aus.

Sehr hilfreich.

[Nils (Gast)]

Wie wäre es hiermit? https://www.movidius.com/

[Richard W. (bouldrini)]

Hey Nils,
Ja Myriad X ist definitiv ein guter Hinweis !

Scheint ja ziemlich aktuell zu sein, und wenn ich das richtig sehe kann 
man mit dem Neural Compute Stick schön damit rumspielen.

- Ansteuerung über USB mit Raspberry Pis, Windows, Linux und allem was 
sonst noch USB Schnittstellen ansteuern kann
- Kompatibel mit Tensorflow und anderen Tools
- Kostenpunkt rund 70 Euro.

Sehr guter Hinweis. Danke

Was gibt es noch für alternativen ?

Am besten wären Alternativen die:
- ich einfach mit einem Raspberry Pi oder einem anderen Microcontrollen 
ansteuern kann
- die aktuell sind
- die am besten NN Modelle durch Tensorflow und Co unterstützen

[Mw E. (Firma: fritzler-avr.de) (fritzler)]

Reden wir jetzt über
Neural oder Numeric
Processing Units?

[Richard W. (bouldrini)]

Neural. Was stiftet gerade Verwirrung @fritzler

[Syggie Synapse (Gast)]

Mw E. schrieb:
> Reden wir jetzt über
> Neural oder Numeric
> Processing Units?

Im Kern ist das dasselbe; die groß als 'Neural' he-hypten Prozessoren 
sind nichts weiter als (Numerik-)Coprozessoren die für die Berechnungen 
die in den Knoten der Neuronalen Netzwerke stattfinden, otptimiert sind. 
Und diese Berechnunegn sind eben auch nur Vektorprodukte.

Insofern wäre dem TO mit einer (zweckentfremdeten) GPU genauso geholfen.
https://en.wikipedia.org/wiki/Neural_Processing_Unit#Use_of_GPU

[John Doe (Gast)]

Syggie Synapse schrieb:
> Mw E. schrieb:
>> Reden wir jetzt über
>> Neural oder Numeric
>> Processing Units?
>
> Im Kern ist das dasselbe; die groß als 'Neural' he-hypten Prozessoren
> sind nichts weiter als (Numerik-)Coprozessoren die für die Berechnungen
> die in den Knoten der Neuronalen Netzwerke stattfinden, otptimiert sind.


Die Numerik-Koprozessoren verarbeiten die gängigen Interger- sowie 
ieee754-Float-Formate.
In den zur Zeit gängigen NNs sind aber andere Datentypen deutlich 
effizienter. Daher können "echte" KI-Beschleuniger auch diverse andere 
Datentypen verarbeiten.

> Und diese Berechnunegn sind eben auch nur Vektorprodukte.


Nö, Matrix- bzw. Tensorprodukte.


> Insofern wäre dem TO mit einer (zweckentfremdeten) GPU genauso geholfen.
> https://en.wikipedia.org/wiki/Neural_Processing_Unit#Use_of_GPU


Nein, damit wäre ihm nicht geholfen. Nicht umsonst hat Nvidia in ihre 
aktuellen GPUs spezielle Tensoreinheiten eingebaut. "Nur" GPU ist halt 
zu langsam/ineffizient in Bezug auf Energieverbrauch.