kleine lokale Modelle

OP #8118316

Bisweilen verwende ich das das kleine Gemma4 Modell

unsloth/gemma-4-E2B-it-GGUF:Q4_K_M
mit llama.cpp.

Es ist ganz praktisch, um Texte aus einem Screenshot in echten Text umwandeln zu lassen oder für Kurzzusammenfassungen oder Formatierungen.
Ich habe gerade festgestellt, dass das sogar noch auf einem Laptop ohne GPU (Prozessor: Intel Core i5-1245U Arbeitsspeicher: 16 GB RAM) noch mit 12Token/Sekunde läuft.

Gibt es noch andere, brauchbare kleine Modelle für bestimmte Aufgaben?

#8118387

Zum Texten TTS / STT in Premiumqualität ist Voicebox ein geiles Programm. Man kann da kleine Modelle (auch für CPU's) wählen, Stimmen clonen, Diktieren und Anderes.

www.voicebox.ch

Mit dem Modell qwen3 TTS auf ner Grafikkarte mit 16 GB vram kann es sogar mit dem Namen meiner Freundin Kylie (gesprochen Kaylie) umgehen und macht ganz selten Fehler.

Außerdem hats nen eigenen Server, ist also auch von einer KI ansprechbar.

mfg

: Bearbeitet durch User

Antwort schreiben

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.