KI Hardware Anforderungen

[Christoph M. (mchris)]

Es gibt immer mehr KI-Hardware. Sei es nun Graphikarten, CPUs oder MCUs.

In diesem Thread will ich die Anforderung an die Hardware für bestimmte 
Anwendungen diskutieren. Das kann z.B. die Ausführung eines LLMs auf dem 
eigenen Rechner bedeuten.

Eine Nvidia RTX5090 hat z.B. 3352 AI TOPS, ist allerdings nicht ganz 
billig. Die Frage stellt sich auch, welchen Einfluss die Archtektur des 
KI-Beschleunigers auf die Ausführungsgeschwindigkeit hat.

Wir hatte schon einmal eine Diskussion hier zur Anforderung an die PCs:

Beitrag "PC: das Zeitalter neuer Hardware"

[Vanye R. (vanye_rijan)]

> Es gibt immer mehr KI-Hardware. Sei es nun Graphikarten, CPUs oder MCUs.

Heise hat mal ein Video gemacht welches du bei Youtube finden kannst wo 
Keno spezielle Grafikkarten mit spezieller Hardware verglichen hat.

Vanye

[Niklas G. (erlkoenig)]

Würde mich sehr interessieren. Auch welche Modelle jeweils geeignet 
sind, und welche sonstige Software-Infrastuktur (Agent-Runtime  IDE  
Chatbot etc.). Auch wie man die integrierte NPU von den "AMD Ryzen AI" 
Prozessoren für sowas nutzt (welches Modell etc).

[Bradward B. (Firma: Starfleet) (ltjg_boimler)]

Naja, da gibt es auch die "AI on the edge" die kommt mit den normalen 
Embedded prozessoren aus.

https://www.emft.fraunhofer.de/de/kompetenzen/systemloesungen-ki/ai-on-the-edge.html

Und auch bei den Sprachmodellen gibt es clevere Ansätze, die die 
Hardwareanforderungen auf ein Bruchteil zusammenschrumpeln lassen.

https://www.heise.de/select/ct/2025/7/2504911435670065158

Siehe auch Deep-seek.
Ich hatte auch mal ne komplette Offline .de Wikipedia auf dem Handy 
(Kiwix), braucht halt nur ne gescheit große SDCard (~100 GB).


Ist halt oft wie beim Opel Manta, die dümmsten Nüße haben die dicksten 
Motoren. SCNR

[Georg M. (g_m)]

> KI Hardware Anforderungen

[Christoph M. (mchris)]

Vanye R. schrieb:
> Heise hat mal ein Video gemacht welches du bei Youtube finden kannst wo
> Keno spezielle Grafikkarten mit spezieller Hardware verglichen hat.

Ich meine, das Video gesehen habe. Er hatte eine relativ schnelle 
Graphikkarte mit viel Speicher.
Der Speicher scheint wichtig zu sein, weil das ganze Modell rein passen 
muss, sonst fängt die Graphikkarte an, den Speicher zu swappen und dann 
wird das ganze sehr langsam.
Die meisten Graphikarten scheinen wohl nur 16GB Speicher zu haben.

Da stellt sich die Frage: Passt die Modelle wie z.B. Qwen3.5-122B-A10B 
da rein
Beitrag "KI-Modelle Deep Dive"
A10B heißt hier wohl 10Giga aktive Gewichte, was sich so anhört, als 
wenn es passen könnte.

[.● Des|ntegrator ●. (Firma: FULL PALATINSK) (desinfector)]

Bradward B. schrieb:
> die dümmsten Nüße

:D

[Christoph M. (mchris)]

Mittlerweile ist man bei den Gewichten wohl bei "Minifloat FP4" 
angekommen.
Das ist eine 4Bit "Fließkommazahl" mit dem Wertebereich -6 bis 6.
Eine offene Frage ist, ob man ein echtes FP32 Modell einfach in ein FP4 
Modell umwandeln könnte. Dann würde in eine Graphikkarte mit 16GB 
ingesammt 32GB Gewichte reinpassen.
Ein lustiger Nebeneffekt von FP4: Auf einem Mikrocontroller könnte man 
die Multiplikation mit einer 256 Byte Look-Up-Table realisieren und 
damit würde es auch auf Mikrocontroller ohne Hardwaremultiplizier zügig 
laufen.