Das ist eine Umgebung zur Nutzung einer lokalen KI welche einen grossen Teil der KI im Ram haelt und nur das in die Grafikkarte rein laedt was gerade gebraucht wird.
Sinn davon ist es fette Modelle auf kleinerer Hardware zu nutzen.
Keno (der Weihnachtsmann von der c't) hat sich auch damit beschaeftigt:
Ich selber, RX9060XT (16GB) und 48GB DDR4 hab es auf Alma 10.2 auch mal ausprobiert.
Bei mir lies sich zwar alles installieren, aber die jeweiligen Modelle liessen sich nicht starten. Ausserdem hat es meinen Rechner echt lahm gemacht obwohl ich ausgewaehlt habe das noch Resourcen fuer mich uebrig bleiben sollen.
Damit hab ich das erste mal seit Jahren mal wieder ein Linux voll swappen gesehen. :-)
Es scheint mir eine super Sache zu sein um Modelle auf 5kEuro Hardware laufen zu lassen fuer die man sonst 10k braucht, aber ist halt noch frueher Betazustand. Ich behalte das aber mal im Auge. Aktuell scheint es bei mir zielfuehrender noch eine zweite RX9060XT in den Rechner zu stecken. (geht aber nicht bei jedem!)
ich bin begeistert. Bei mir startet Strata aber in einem CMD-Fenster, in dem keine Eingabe möglich ist und öffnet dann eine Webseite.
Das Starten dauert schon ziemlich lang und braucht kurzzeitig den ganzen RAM und es wird dann eine Webseite http://127.0.0.1:8080/ geöffnet.
Von so einem Modell sollte man aber kein großes Wissen erwarten.
Was aber Strata mit seinem Modell gut kann ist Mathe Aufgaben lösen.
Da gehen auch schon recht schwere Aufgaben.
Aus einem Aufgabenblatt von Cambridge:
"14. Let (xn) and (yn) be real sequences with xn → 0 and yn → 0 as n → ∞.
(a) Show that there is a sequence (σn) of signs (i.e. σn ∈ {−1, +1} for all n) such that Summe σn * xn is convergent.
(b) () Must there be a sequence (σn) of signs such that Summe σn * xn and Summe σn * yn are both convergent?
Notes:
challenging questions are denoted by (*) and very challenging questions by ()."
Für diese Aufgabe benützt er aber einen Satz, der zwar wirklich existiert aber sehr schwer zu finden ist.
Und da fängt das Problem an, auf meine Frage, wo man den Satz findet, kommen viele falsche Antworten.
Ich hab noch andere Aufgaben erfolgreich lösen lassen.
Die Ergebnisse lasse ich in Latex ausgeben. Sonst sind sie kaum lesbar.
Bei mir konnte es pdf-Files nicht lesen. Ich musste die als Bild-Datei eingeben.
Da kommt es ab und zu vor, dass es sich verliest.
Was ich aber gelernt habe ist, Literaturangaben sind sehr oft irreführend.
Ich hab noch keine Aufgaben mit Bilder versucht. Vermutlich gibt es da Probleme.
Insgesamt braucht bei mir Strata ungefähr 87 GB von 126 GB GPU-Speicher und davon sind 63 GB im RAM.
MfG
egonotto
Anhang: Ausgabe von Strata zur genannten Aufgabe. Die Bemerkung und Überschrift hat Strata aus eigenem Antrieb geschrieben.
Von so einem Modell sollte man aber kein großes Wissen erwarten.
Welches Modell denn? Du hast doch im Video gesehen das dieses fette Modell sogar Kenos Namen kennt, also eine erstaunliche Belanglosigkeit und du kannst ihm ja auch erlauben weitere Belanglosigkeiten zu googlen.
Bei mir konnte es pdf-Files nicht lesen.
Ja wer haette sowas gedacht. Ehrlich gesagt ich waere vermutlich gar nicht auf die Idee gekommen dem Teil ein pdf anzubieten solange es keinen dedizierten Inputfilter dafuer gibt.
Insgesamt braucht bei mir Strata ungefähr 87 GB von 126 GB GPU-Speicher
und davon sind 63 GB im RAM.
Aehem wie? Du hast eine GPU mit 126GB VRAM? :)
Erzaehl mal wie dein Verhaeltnis VRAM/DDR wirklich ist.
der Windows Taskmanager nennt unter GPU Speicher den VRAM und den Teil das RAMS den die Grafikeinheit noch zusätzlich bekommt. Der gemeinsame Speicher (also RAM) ist bei mir 102 GB und die Grafikeinheit hat 24 GB. Also zusammen 126 GB.
Ich hab mal einem anderen Modell ein zehn seitiges PDF gegeben, dass mir das Modell übersetzt hat. Leider weiß ich nicht mehr welches Modell das war.
So, nun hab ich Strata gebeten ein Übungsblatt, das die Überschrift "Krummlinige Koordinaten" hat, zu lösen. Mal sehen wie gut die Lösungen sind. Es ist auf jeden Fall sehr schnell gegangen. Bestimmt unter 10 Minuten.
Strata hat geschrieben: "Wenn du möchtest, kann ich dir alle diese Lösungen als kompilierbare LaTeX-Datei ausgeben." Ist doch nett.
ich habe gefragt: "Kannst du im Internet suchen?".
Die Antwort:
"Nein, ich kann nicht live im Internet suchen und keine Webseiten in Echtzeit aufrufen. Ich habe keinen Browser und kann auch keine Links anklicken oder aktuelle Seitenstände sehen.
Was ich stattdessen habe:
Trainiertes Wissen bis zu einem Stichtag, das sehr viele Quellen abdeckt – Bücher, Originalarbeiten, Vorlesungsskripte, Standardliteratur.
Dadurch kann ich dir konkrete Quellen nennen (wie bei Steinitz–Kadets: Kadets, Mat. Sb. 128 (1985); Albiac–Kalton, GTM 233), weil diese in meinem Wissen verankert sind.
Ich kann Beweise rekonstruieren, Formeln herleiten und Zusammenhänge erklären, auch ohne dass ich gerade etwas „nachlese".
Was ich nicht kann:
Prüfen, ob ein Link heute funktioniert oder ob sich eine Seite geändert hat.
Die allerneueste Preprint-Version auf arXiv abrufen.
Verifizierte, aktuelle Fakten aus dem Moment liefern (z. B. „Was steht heute auf Wikipedia zu X?").
Für deine Topologie-/Analysis-Fragen ist das meist kein Problem, weil die relevanten Sätze (Steinitz, Kadets, Cantor–Bendixson, Vektorraumaxiome usw.) zeitlos sind und in Standardwerken stehen. Wenn ich eine Quelle zitiere, sind Autor, Titel und Jahr in der Regel korrekt – aber ein Link, den ich angebe, solltest du trotzdem selbst kurz anklicken, falls du ihn brauchst.
Wenn du willst, dass ich etwas besonders verlässlich belege, sag mir, wofür du es brauchst (Hausarbeit, Seminar, Prüfungsvorbereitung), dann wähle ich die konservativste, am besten zitierbare Quelle aus."
Wenn er eine Quelle zitiert ist es meist falsch! Also, die Quelle gibt es schon, aber es steht nicht das drin, was behauptet wird.
Es scheint mir eine super Sache zu sein um Modelle auf 5kEuro Hardware
laufen zu lassen fuer die man sonst 10k braucht
Schonmal was von DGX Spark, ASUS Ascent GX10 und deren ganzen Kollegen gehört? Das sind Rechner die direkt für große KIs gebaut sind, sich Clustern lassen, meist auf einem AMD AI in Kombination mit einem NV GB10 und ner Menge Ram setzen.
Die Kosten alle keine 5000€ und man spart sich das gehampel mit Modelsplitting wie bei Strata.
Schonmal was von DGX Spark, ASUS Ascent GX10 und deren ganzen Kollegen gehört?
Doch sicher, was veranlasst dich zu glauben das koennte nicht der Fall sein?
Aber schau, die Teile sind langsamer als eine dedizierte GPU. (Faktor 2-3) Man will sie also eigentlich nicht. Andererseits gibt es sie mit grossem Speicher. Was man wegen grossen Modellen will. Den kannst du aber nicht wechseln weil er aufgeloetet ist. Also willst du ja sicher von Anfang an eine Kaufen mit eher zuviel wie zuwenig Speicher.
Kleinere 64GB ueber 5000. Wobei es vermutlich okay ist wenn man aktuell 64GB hat, aber ich wuerde nichts neues kaufen was man dann viele Jahre nutzen will und keine 128GB hat.
Die Kosten alle keine 5000€ und man spart sich das gehampel mit
Modelsplitting wie bei Strata.
Offensichtlich bist du da etwas zu optimistisch.
Ausserdem wuerde ich das nicht als Gehampel bezeichnen. Das ist eine ziemlich coole idee. Aktuell sicher noch frisch und beta, aber IMHO ein kluger Weg.
Und du sparst ganz nebenbei eine Menge Kohle, zum einen sowieso, zum anderen weil du viel der alten Hardware weiterverwenden kannst.
Mir scheint es also als wenn sowas wie Strata Rechner mit unified Memory obsolet macht. Zumindest fuer privaten Einsatz. Ob das noch klappt wenn man mehrere Leute auf einer Kiste arbeiten hat sei mal dahingestellt. Muesste man IMHO noch antesten. Interessiert mich aber nicht.
nun kann man auch DeepSeek-V2-Lite MoE mit einer neuen Version von Strata verwenden.
Eine Aufgabe die Strata mit Qwen 3.8 Flash Next sehr gut gelöst hat, konnte DeepSeek-V2-Lite MoE nicht lösen. Aber vielleicht muss ich nur die richtigen Parameter einstellen.
Mir scheint es also als wenn sowas wie Strata Rechner mit unified Memory
obsolet macht. Zumindest fuer privaten Einsatz. Ob das noch klappt wenn
man mehrere Leute auf einer Kiste arbeiten hat sei mal dahingestellt.
Muesste man IMHO noch antesten. Interessiert mich aber nicht.
Verstehe den Zusammenhang nicht. Eine GPU kann doch schon immer der Hauptspeicher via GART/GTT mit nutzen. Das hat mit unified memory nix zu tun und Strata kann da auch nix dran ändern, wenn die GPU nur wenig schnellen VRAM hat wirds mit Strata auch nicht mehr. Was ist der Vorteil von Strata statt einfach der GPU den Hauptspeicher per GTT zu überlassen? Das geht soweit ich weis auch ohne Strata?
Unified memory bedeutet doch erstmal nur das sowohl GPU und CPU direkt auf den gleichen Speicher sehen und man nicht umständlich (und langsam) dazwischen per GART/GTT/PCIe/MMU übersetzen muss. Das heißt aber nicht, das der Speicher besonders schnell ist.
Ganz einfach. Unified Memory ist schneller Speicher der aber langsamer ist wie GPU Vram. Man will also eigentlich kein unified Memory weil ein Modell in einer GPU 3x so schnell laeuft.
Was man also will waere eine GPU mit z.B 96GB Vram. Aktuell so 16kEuro. Oder sogar noch mehr Ram. Also doof. Kann man sich nicht leisten.
Die Idee von Strata ist jetzt das man ein Modell in mehere Einzelexperten aufteilt. Ein Teil davon, der gerade fuer das aktuelle Problem gebraucht wird ist in der GPU und denkt dort. Der andere Teil ist im Ram und wird bei bedarf nachgeladen.
Das ist kein Gewinn wenn man nur Modelle hat die in den GPU Speicher passen, sondern eher ein Verlust weil Verwaltungsoverhead dazu kommt. Wenn man aber sehr grosse fette Modelle hat dann muessen die nur in den Hauptspeicher passen weil nur der kleinere Teil der gerade arbeit in der GPU geht. Und das ist interessanterweise wohl ein deutlicher Geschwindigkeitgewinn wenn man grosse Modelle nutzen will.
Wie gross der Gewinn ist, ist natuerlich die Frage. Offenbar ist er erheblich wenn man z.B eine Stunde mit der KI uebers programmieren redet und dann vielleicht Bilder rendern laesst. Dann wird einmal um geswitcht. Aber wenn man jetzt eine Maschine hat auf der mehrere Leute mit unterschiedlichen Anforderungen arbeiten? Ich koennte mir vorstellen das es dann einbricht.
Aber arme Einzelpersonen koennten so damit weg kommen sich eine GPU mit 32GB Vram (2000Euro wenn AMD) zu kaufen und nochmal 128GB Ram. (2000Euro) Das ist verlockender als zwei GPUs mit 64 oder 96GB. (30000Euro oder mehr)
Unified Memory ist schneller Speicher der aber langsamer ist wie GPU
Vram. Man will also eigentlich kein unified Memory weil ein Modell in
einer GPU 3x so schnell laeuft.
Der Unified Memory eines M5 Ultra hat 1.2TB/s - finde ich jetzt nicht so lahm :-D
Die Idee von Strata ist jetzt das man ein Modell in mehere
Einzelexperten aufteilt. Ein Teil davon, der gerade fuer das aktuelle
Problem gebraucht wird ist in der GPU und denkt dort. Der andere Teil
ist im Ram und wird bei bedarf nachgeladen.
Ich kenne mich da zu wenig aus, aber funktioniert das denn bei allen Modellen ganz allgemein? Ich dachte das bei den "normalen" Modellen immer alle Parameter aktiv sind? Es gibt ja spezielle Modelle bei denen immer nur ein Teil der Parameter aktiv sind.
Ja, dass man sie seit einigen Wochen nirgendwo kaufen kann. Trotzdem
werden sie angepriesen. Keine Ahnung, was das soll
Halte ich für ein Gerücht, wir haben erst vor kurzem wieder einen bekommen. Vielleicht als Privatmensch schwieriger zu bekommen, im Unternehmensumfeld eher ein finanzielles Thema. Zum wirklich damit arbeiten eignet sich eher nur für kleinere Entwicklergruppen. Der Hauptanwendungsfall wohl eher zur Evaluierung bevor es dann auf die richtigen Systeme geht . Gibt ja inzwischen in der Leistungsklasse neben dem DGX Spark auch die RTX Spark, AMD AI Max+ 395. Ich denke die liefern alle ähnlich ab, da die RAM Performance sehr ähnlich ist.
Die SparkDGX ist tatsächlich nur bei 80% der Geschwindigkeit meiner RTX5060. Allerdings hat meine DGX auch 128GB statt 8GB der RTX. Damit laufen dann schon die brauchbaren Modelle wie Qwen3.8.
Qwen 3.8 Flash Next high quality läuft bei uns in der Einrichtungsmessung / Optimierung mit fast 600 Token /sek, vLLM ist nicht viel schneller, aber stabiler bei hohen parallelen Zugriffen.
3 gleichzeitige parallele Zugriffe sind bei Strata möglich. Mehr hab ich noch nicht probiert.
Leider müssen die Modelle an Strata angepasst sein, unsere vorhandenen *.gguf werden zur Zeit nicht konvertiert (Fehlermeldung: Modell ist für llama, kann nicht umwandeln) aber das wird sich ja noch ändern. Dann sind vielleicht sogar 160+ Gigabyte grosse Modelle möglich.
Das System:
System Prozzi 16 Kern, GPU H100 80GB vram, 128GB Sysram, 4TB SSD Raid0, eigeschaltetes "resize Bar", Windows 11 edu.
Ich denke keiner hat hier ein Problem mit so einer Kiste, aber alle haben ein Problem mit dem Preis. :-D
Qwen 3.8 Flash Next high quality läuft bei uns in der
Einrichtungsmessung / Optimierung mit fast 600
Token /sek, vLLM ist nicht viel schneller, aber
stabiler bei hohen parallelen Zugriffen.
Also scheint es ja ein Problem zu loesen. :-D
3 gleichzeitige parallele Zugriffe sind bei Strata möglich.
Mehr hab ich noch nicht probiert.
Das finde ich ja schon mal eine gute Neuigkeit. Zumal man es in der Praxis dann sicher mit dem Faktor n multiplizieren kann weil immer Entwickler gerade an der Kaffemaschiene sind oder in Meetings rum haengen.
NVIDIA Blackwell B200 / B300: ca. 8,0 TB/s (192 GB bis 288 GB HBM3e)
NVIDIA Hopper H200: ca. 4,8 TB/s (141 GB HBM3e)
NVIDIA Hopper H100: ca. 3,35 TB/s (80 GB HBM3)
Du hättest dazuschreiben können, was diese Karten kosten. Nämlich grob geschätzt zwischen 20.000 und 40.000 Euro. Und dann hast Du immer noch nur die Karte, und brauchst obendrein noch eine Maschine, in der Du sie betreiben kannst.
Ich denke keiner hat hier ein Problem mit so einer Kiste, aber alle
haben ein Problem mit dem Preis. :-D
Naja, am Ende ist es sicherlich eine Frage des Anwendungsfalls. Wenn ich den Ausschuß auf einem Fließband mit einem bildgebenden Verfahren in Echtzeit aussortieren muß, lohnt sich möglicherweise sowas hier [1] von meinen Freunden bei Delta Computer -- aber ja, klar, so ein Maschinchen hätte ich auch gerne unter meinem Schreibtisch. :-)
Aber wie sieht der Anwendungsfall für Entwickler aus? Okay, ich denke fünf Minuten nach und erstelle einen Prompt, dann warte ich eine bis drei Minuten auf die Ergebnisse, und danach brauche ich zehn Minuten um diese Ergebnissse zu verifizieren und zu testen. Für diesen Anwendungsfall spielt es zweifellos eine untergeordnete Rolle, ob ich eine, zwei oder drei Minuten auf die Ergebnisse warten muß, und wenn die Zeit für die Verifikation und das Testen noch größer wird, wird die Rolle der Rechenzeit nochmals kleiner.
Hinzu kommt die Frage, wie stark die Ergebnisqualität von der Größe der Modelle abhängt, und da wird die Sache dann schwierig, weil die Qualität der Ergebnisse sich nicht leicht beziffern läßt. Wer weiß, vielleicht liefert ein größeres Modell auf einer Maschine mit Unified Memory auf Anhieb so viel bessere Ergebnisse, daß ich verglichen mit kleineren Modellen auf einer RTX mit weniger Iterationszyklen benötige?
Nebenbei bemerkt kosten die größeren Pläne bei Gemini, ChatGPT und Claude jeweils ungefähr 100 Euro im Monat. Das heißt: selbst wenn ich eine DGX Spark oder eine ähnliche Maschine für hypothetische 5.000 Euro kaufe, bekomme ich dafür runde 50 Monate Zugang zu den sehr großen und zumindest bisher gut gepflegten Modellen der betreffenden Anbieter. Das kostet allerdings die "sekundären" Preise, nämlich daß ich womöglich Betriebsgeheimnisse an den Anbieter des Modells weitergeben und mich von ihm abhängig machen muß.
Letzten Endes könnt Ihr Euch hier gerne die Performancedaten, die Preise für die Geräte und weitere Zahlen um die Ohren hauen, aber am Ende ist die Frage immer eine nach "Bang per Buck" oder: welchen konkreten Anwendungsfall habe ich, und wieviel Ergebnis bekomme ich für welche Investition.
