AI Prozessoren machen was anders

https://blog.nbb.com/was-ist-eine-npu-der-ai-ki-beschleuniger-erklaert/

Wow, danke

Also sind Rechenkerne mit grosser Wortbreite und MIMD das Richtige?

für neuronale Netze reicht eigentlich SIMD. Die Hauptaufgabe ist parallelisiertes multiply-accumulate, wahlweise in int8, fp32, fp16 oder in Zukunft auch auf fp8.

Tesla hat für seine Autos eine Architektur gewählt, die (relativ) viel onboard-Speicher hat. So können die ganzen Gewichte und Feature Maps schnell zur Verfügung gestellt werden, was im Echtzeitsystem wichtig ist. klicko: https://en.wikichip.org/wiki/tesla_%28car_company%29/fsd_chip#Neural_processing_unit

Für richtig große Netze wird's dafür aber auf dem Chip ohnehin zu eng. Kommt also immer auf die Anwendung an.

und natürlich gibt es auch viele Spezialansätze, die aber in der Industrie noch wenig Beachtung finden. Ein Beispiel wären hier Analogrechner.

Das war auch mein erster Gedanke. Parallele Recheneinheiten die Addition und Multiplikation in einem Schritt beherrschen und Daten zu Inhalten verarbeiten. Das ist aber nichts Neues und macht KI-Systeme nicht besonders?

KI ist ein Modebgeriff. Was heute sehr erfolgreich ist, sind neuronale Netze. Das sind mathematische Strukturen, die durch Training mit vor allem großen Datenmengen zu überraschend guten Mustererkennungen und -prädiktionen fähig sind.

Wie wir die Mathematik in hardware umsetzen steht uns frei, aber die vorhandene Hardware hatte natürlich auch Einfluss darauf, was erforscht wurde.

Kurzum: SIMD war da, in Form von GPUs, und deswegen hat man auf SIMD Fortschritte gemacht. Naja und jetzt ist "KI" immer noch größtenteils SIMD, yep.

Das heißt aber nicht, dass es in anderen Bereichen keine spannenden Ideen und Ansätze gibt, die genauso funktionieren könnnen. SIMD ist eben gerade am wirtschftlichsten und bekommt deswegen weiterhin die meisten Engineering-Stunden ab.

Wenn jetzt jemand daherkommnen möchte und z.B. mit analaogchips oder spiking-neuromorph-hardware Geld verdienen möchte, braucht er sauberste Toolchains und günstigste Preis-Leistung. Bis dahin bleiben wir bei SIMD.

Stefan G. schrieb:

Das war auch mein erster Gedanke. Parallele Recheneinheiten die Addition und Multiplikation in einem Schritt beherrschen und Daten zu Inhalten verarbeiten. Das ist aber nichts Neues und macht KI-Systeme nicht besonders?

Nö. Grafikkarten können das sehr gut und kommen deshalb in dem Bereich sehr viel zum Einsatz. Allerdings wird die Genauigkeit und der Wertebereich von float sowie ein Teil der ins Silizium gegossenen Rechenoperationen und die damit einhergehende Komplexität bei der Ausführung der neuronalen Netze oft nicht benötigt. Deshalb gibt's dann sowas wie Googles TPU, die sich genau auf das spezialisiert, was für die neuronalen Netze benötigt wird. So passen dann erheblich mehr Recheneinheiten auf die gleiche Chipfläche, und es wird dadurch schneller und energieeffizienter.

Danke, das Stichwort TPU hat mir sehr weitergeholfen.

NPU gibt's auch: https://de.wikipedia.org/wiki/Neuromorpher_Prozessor