Taalas bietet ein in Silizium gegossenes Llama 3.1 8B KI-Modell an, mit dem man mal selbst probieren kann, was für eine extreme Geschwindigkeit man mit in Silizium gegossenen Modellgewichte erreicht: 15.000 Token/s. Zum selbst ausprobieren gibt es einen Link zum ChatBot auf der Seite: https://taalas.com/products/ Die Geschwindigkeit ist ziemlich krass, auch wenn ein 3.1 Modell ziemlich veraltet ist.
Ja. Mich interessiert der Stromverbrauch, wenn das Teil nen 2 KW Server ersetzen wird / soll. Das Ganze noch ähnlich eines FPGA frei mit Modellen ladbar, und die Menschheit ist zur Ausrottung bereit. :-O Das wird wohl den "Krieg der Sterne" eröffnen. :-((( mfg
Angehängte Dateien:
-
TaalasHCI.png
560 KB
Lotta . schrieb: > Mich interessiert der Stromverbrauch, wenn das Teil nen 2 KW Server > ersetzen wird / soll. Auf der Webseite steht ja "2.5KW server". Ich habe aber keine Ahnung, was das bedeuten soll. Der Chip wird ja wohl kaum 2.5KW verbrauchen, dazu fehlt der Kühlkörper. Für was man das Ding brauchen kann, weiß ich nicht, weil das Modell ja relativ alt und von 2024 ist. Aber immerhin kann es mehre Sprachen (auch Deutsch), so kann man es vielleicht als Übersetzter benutzen.
Lotta . schrieb: > Das wird wohl den "Krieg der Sterne" eröffnen. :-((( Es werden bereits Todesrechenzentren gebaut! ;-)
Muss ich mich jetzt dem Sprachstil anpassen damit dieses Modell mich versteht oder lernt die im Betrieb selbständig? Ich wollte einen Witz hören:"Warum ging der Gurke in die Stadt? Weil er war sehr grün! Hoffentlich, das hat dir ein Lächeln gebracht!". Aber schnell ist das ganze, da gibt's nix zu meckern.
H. H. schrieb: > Lotta . schrieb: >> Das wird wohl den "Krieg der Sterne" eröffnen. :-((( > > Es werden bereits Todesrechenzentren gebaut! ;-) Das Teil ist wohl erstmal ein Prototyp. Ja! Aber erst muß das Modell auswechselbar / nachladbar gestaltet werden. Und dann muß der Stromverbrauch runter. Intelligente Killersatelliten brauchen viel Energie für den Laserstrahl, da darf die KI nicht schon 2 KW ziehen. ;-P mfg
Lotta . schrieb: > Aber erst muß das Modell auswechselbar / nachladbar > gestaltet werden. Das widerspricht vollständig der Grundidee des Taalas-HCI und dem Grund, warum der Chip so schnell und so sparsam ist. Dort ist nämlich das Modell und jedes Gewicht in Hardware implementiert, deshalb gibt es da auch keinen Transistor zu viel. Da ist nichts mehr veränderbar. Wenn du es verändern willst, musst du einen neuen Chip mit neuem Modell routen und fertigen lassen.
Wenn ich das bemerken darf: Das Ding nennt sich HC1, nicht HCI. Die richtige Schreibweise erleichtert die KI-Suche. :-))
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.