KI Modellgeschwindigkeit verschiedene Hardware

[Christoph M. (mchris)]

Im Moment teste ich gerade, wie schnell das Modell gemma-4-E2B

https://huggingface.co/unsloth/gemma-4-E2B

auf verschiedener Hardware mit llama.cpp  läuft:


CPU only, Ryzen 7 5700G: ~10 token/sec
RTX5060: 94 token/sec
SparkDGX: 83 token/sec

Erstaunlich: die DGX ist leicht langsamer als die RTX5060 .. warum?

[Εrnst B. (ernst)]

Ryzen 5700G iGPU (Ollama mit Vulkan-Backend)

total duration:       1m1.516410286s
load duration:        698.760263ms
prompt eval count:    42 token(s)
prompt eval duration: 304.425ms
prompt eval rate:     137.97 tokens/s
eval count:           1357 token(s)
eval duration:        1m0.507372s
eval rate:            22.43 tokens/s

ollama run --verbose gemma4:e2b
environment:
      - OLLAMA_VULKAN=1
      - OLLAMA_IGPU_ENABLE=1

Christoph M. schrieb:
> Erstaunlich: die DGX ist leicht langsamer als die RTX5060 .. warum?

der Vorteil der DGX ist das viele RAM. Wenn du ein kleines Model 
testest, spielt das keine Rolle.

[Christoph M. (mchris)]

Εrnst B. schrieb:
> eval rate:            22.43 tokens/s

Interessant, mit Vulkan scheint das den Faktor 2 auszumachen. Mein 
Benchmark oben ist aber mit llama.cpp, von dem einige behaupten, es 
würde auch noch mal etwas Performance gegenüber ollama rausholen. Ob das 
stimmt?

Εrnst B. schrieb:
> der Vorteil der DGX ist das viele RAM. Wenn du ein kleines Model
> testest, spielt das keine Rolle.

Anzahl der Cuda-Cöre und Tensor-Cöre sowie Speicherbandbreite sollten 
aber auch eine Rolle spielen, meine ich. Meines Wissens hat die RTX5060 
da auch nur die halbe Speicherbandbreite gegenüber der RTX5070.