KI: Das neue Strata

Hallo,

ich bin begeistert. Bei mir startet Strata aber in einem CMD-Fenster, in dem keine Eingabe möglich ist und öffnet dann eine Webseite. Das Starten dauert schon ziemlich lang und braucht kurzzeitig den ganzen RAM und es wird dann eine Webseite http://127.0.0.1:8080/ geöffnet.

Von so einem Modell sollte man aber kein großes Wissen erwarten.

Was aber Strata mit seinem Modell gut kann ist Mathe Aufgaben lösen. Da gehen auch schon recht schwere Aufgaben. Aus einem Aufgabenblatt von Cambridge:

"14. Let (xn) and (yn) be real sequences with xn → 0 and yn → 0 as n → ∞. (a) Show that there is a sequence (σn) of signs (i.e. σn ∈ {−1, +1} for all n) such that Summe σn * xn is convergent. (b) () Must there be a sequence (σn) of signs such that Summe σn * xn and Summe σn * yn are both convergent? Notes: challenging questions are denoted by (*) and very challenging questions by ()."

Für diese Aufgabe benützt er aber einen Satz, der zwar wirklich existiert aber sehr schwer zu finden ist. Und da fängt das Problem an, auf meine Frage, wo man den Satz findet, kommen viele falsche Antworten.

Ich hab noch andere Aufgaben erfolgreich lösen lassen.

Die Ergebnisse lasse ich in Latex ausgeben. Sonst sind sie kaum lesbar.

Bei mir konnte es pdf-Files nicht lesen. Ich musste die als Bild-Datei eingeben. Da kommt es ab und zu vor, dass es sich verliest.

Was ich aber gelernt habe ist, Literaturangaben sind sehr oft irreführend.

Ich hab noch keine Aufgaben mit Bilder versucht. Vermutlich gibt es da Probleme.

Insgesamt braucht bei mir Strata ungefähr 87 GB von 126 GB GPU-Speicher und davon sind 63 GB im RAM.

MfG egonotto

Anhang: Ausgabe von Strata zur genannten Aufgabe. Die Bemerkung und Überschrift hat Strata aus eigenem Antrieb geschrieben.

Von so einem Modell sollte man aber kein großes Wissen erwarten.

Welches Modell denn? Du hast doch im Video gesehen das dieses fette Modell sogar Kenos Namen kennt, also eine erstaunliche Belanglosigkeit und du kannst ihm ja auch erlauben weitere Belanglosigkeiten zu googlen.

Bei mir konnte es pdf-Files nicht lesen.

Ja wer haette sowas gedacht. Ehrlich gesagt ich waere vermutlich gar nicht auf die Idee gekommen dem Teil ein pdf anzubieten solange es keinen dedizierten Inputfilter dafuer gibt.

Insgesamt braucht bei mir Strata ungefähr 87 GB von 126 GB GPU-Speicher und davon sind 63 GB im RAM.

Aehem wie? Du hast eine GPU mit 126GB VRAM? :) Erzaehl mal wie dein Verhaeltnis VRAM/DDR wirklich ist.

Vanye

Hallo,

der Windows Taskmanager nennt unter GPU Speicher den VRAM und den Teil das RAMS den die Grafikeinheit noch zusätzlich bekommt. Der gemeinsame Speicher (also RAM) ist bei mir 102 GB und die Grafikeinheit hat 24 GB. Also zusammen 126 GB.

Ich hab mal einem anderen Modell ein zehn seitiges PDF gegeben, dass mir das Modell übersetzt hat. Leider weiß ich nicht mehr welches Modell das war.

So, nun hab ich Strata gebeten ein Übungsblatt, das die Überschrift "Krummlinige Koordinaten" hat, zu lösen. Mal sehen wie gut die Lösungen sind. Es ist auf jeden Fall sehr schnell gegangen. Bestimmt unter 10 Minuten.

Strata hat geschrieben: "Wenn du möchtest, kann ich dir alle diese Lösungen als kompilierbare LaTeX-Datei ausgeben." Ist doch nett.

MfG egonotto

Hallo,

ich habe gefragt: "Kannst du im Internet suchen?".

Die Antwort: "Nein, ich kann nicht live im Internet suchen und keine Webseiten in Echtzeit aufrufen. Ich habe keinen Browser und kann auch keine Links anklicken oder aktuelle Seitenstände sehen.

Was ich stattdessen habe:

Trainiertes Wissen bis zu einem Stichtag, das sehr viele Quellen abdeckt – Bücher, Originalarbeiten, Vorlesungsskripte, Standardliteratur. Dadurch kann ich dir konkrete Quellen nennen (wie bei Steinitz–Kadets: Kadets, Mat. Sb. 128 (1985); Albiac–Kalton, GTM 233), weil diese in meinem Wissen verankert sind. Ich kann Beweise rekonstruieren, Formeln herleiten und Zusammenhänge erklären, auch ohne dass ich gerade etwas „nachlese". Was ich nicht kann:

Prüfen, ob ein Link heute funktioniert oder ob sich eine Seite geändert hat. Die allerneueste Preprint-Version auf arXiv abrufen. Verifizierte, aktuelle Fakten aus dem Moment liefern (z. B. „Was steht heute auf Wikipedia zu X?"). Für deine Topologie-/Analysis-Fragen ist das meist kein Problem, weil die relevanten Sätze (Steinitz, Kadets, Cantor–Bendixson, Vektorraumaxiome usw.) zeitlos sind und in Standardwerken stehen. Wenn ich eine Quelle zitiere, sind Autor, Titel und Jahr in der Regel korrekt – aber ein Link, den ich angebe, solltest du trotzdem selbst kurz anklicken, falls du ihn brauchst.

Wenn du willst, dass ich etwas besonders verlässlich belege, sag mir, wofür du es brauchst (Hausarbeit, Seminar, Prüfungsvorbereitung), dann wähle ich die konservativste, am besten zitierbare Quelle aus."

Wenn er eine Quelle zitiert ist es meist falsch! Also, die Quelle gibt es schon, aber es steht nicht das drin, was behauptet wird.

MfG egonotto

Vanye R. schrieb:

Es scheint mir eine super Sache zu sein um Modelle auf 5kEuro Hardware laufen zu lassen fuer die man sonst 10k braucht

Schonmal was von DGX Spark, ASUS Ascent GX10 und deren ganzen Kollegen gehört? Das sind Rechner die direkt für große KIs gebaut sind, sich Clustern lassen, meist auf einem AMD AI in Kombination mit einem NV GB10 und ner Menge Ram setzen.

Die Kosten alle keine 5000€ und man spart sich das gehampel mit Modelsplitting wie bei Strata.

Nur so am Rande...

Schonmal was von DGX Spark, ASUS Ascent GX10 und deren ganzen Kollegen gehört?

Doch sicher, was veranlasst dich zu glauben das koennte nicht der Fall sein?

Aber schau, die Teile sind langsamer als eine dedizierte GPU. (Faktor 2-3) Man will sie also eigentlich nicht. Andererseits gibt es sie mit grossem Speicher. Was man wegen grossen Modellen will. Den kannst du aber nicht wechseln weil er aufgeloetet ist. Also willst du ja sicher von Anfang an eine Kaufen mit eher zuviel wie zuwenig Speicher.

https://shop.macle.com/nvidia-dgx-spark-2-cortex-a725-cortex-x9-25-ram-128-gb-ssd-4-tb-nvme-blackwell-te/940-54242-0005-000-0

Hm...7300euro?

https://www.notebookcheck.com/1TB-VRAM-Acht-Nvidia-DGX-Spark-lassen-sich-jetzt-zusammenschliessen.1430820.0.html

Kleinere 64GB ueber 5000. Wobei es vermutlich okay ist wenn man aktuell 64GB hat, aber ich wuerde nichts neues kaufen was man dann viele Jahre nutzen will und keine 128GB hat.

Die Kosten alle keine 5000€ und man spart sich das gehampel mit Modelsplitting wie bei Strata.

Offensichtlich bist du da etwas zu optimistisch. Ausserdem wuerde ich das nicht als Gehampel bezeichnen. Das ist eine ziemlich coole idee. Aktuell sicher noch frisch und beta, aber IMHO ein kluger Weg.

Und du sparst ganz nebenbei eine Menge Kohle, zum einen sowieso, zum anderen weil du viel der alten Hardware weiterverwenden kannst.

Mir scheint es also als wenn sowas wie Strata Rechner mit unified Memory obsolet macht. Zumindest fuer privaten Einsatz. Ob das noch klappt wenn man mehrere Leute auf einer Kiste arbeiten hat sei mal dahingestellt. Muesste man IMHO noch antesten. Interessiert mich aber nicht.

Vanye