Es gibt mittlerweile tausende von KI-Modellen wie z.B. das neue Gemma 4: https://huggingface.co/blog/gemma4 Beim Modell Gemma 4 26B A4B (mixture-of-experts with 4B activated/26B total parameters) sind ja nur 4GB jeweils aktiv, wenn der "Experte" ausgewählt wurde. Mir ist die Funktion da aber nicht ganz klar: wird erst geschaut, welche 4GByte benötigt werden und dann diese 4GB zur Graphikkarte geschoben, wenn die weniger als 26GB Speicher hat?
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.