Bisweilen verwende ich das das kleine Gemma4 Modell
unsloth/gemma-4-E2B-it-GGUF:Q4_K_M
mit llama.cpp.
Es ist ganz praktisch, um Texte aus einem Screenshot in echten Text umwandeln zu lassen oder für Kurzzusammenfassungen oder Formatierungen.
Ich habe gerade festgestellt, dass das sogar noch auf einem Laptop ohne GPU (Prozessor: Intel Core i5-1245U
Arbeitsspeicher: 16 GB RAM) noch mit 12Token/Sekunde läuft.
Gibt es noch andere, brauchbare kleine Modelle für bestimmte Aufgaben?