|
Anzeige
|
Taalas HCI BeschleunigerTaalas bietet ein in Silizium gegossenes Llama 3.1 8B KI-Modell an, mit dem man mal selbst probieren kann, was für eine extreme Geschwindigkeit man mit in Silizium gegossenen Modellgewichte erreicht: 15.000 Token/s. Zum selbst ausprobieren gibt es einen Link zum ChatBot auf der Seite: Die Geschwindigkeit ist ziemlich krass, auch wenn ein 3.1 Modell ziemlich veraltet ist. Ja. Mich interessiert der Stromverbrauch, wenn das Teil nen 2 KW Server ersetzen wird / soll. Das Ganze noch ähnlich eines FPGA frei mit Modellen ladbar, und die Menschheit ist zur Ausrottung bereit. :-O Das wird wohl den "Krieg der Sterne" eröffnen. :-((( mfg
Auf der Webseite steht ja "2.5KW server". Ich habe aber keine Ahnung, was das bedeuten soll. Der Chip wird ja wohl kaum 2.5KW verbrauchen, dazu fehlt der Kühlkörper. Für was man das Ding brauchen kann, weiß ich nicht, weil das Modell ja relativ alt und von 2024 ist. Aber immerhin kann es mehre Sprachen (auch Deutsch), so kann man es vielleicht als Übersetzter benutzen.
Angehängte Dateien:
Gast
#8070575
Es werden bereits Todesrechenzentren gebaut! ;-) Muss ich mich jetzt dem Sprachstil anpassen damit dieses Modell mich versteht oder lernt die im Betrieb selbständig? Ich wollte einen Witz hören:"Warum ging der Gurke in die Stadt? Weil er war sehr grün! Hoffentlich, das hat dir ein Lächeln gebracht!". Aber schnell ist das ganze, da gibt's nix zu meckern.
Das Teil ist wohl erstmal ein Prototyp. Ja! Aber erst muß das Modell auswechselbar / nachladbar gestaltet werden. Und dann muß der Stromverbrauch runter. Intelligente Killersatelliten brauchen viel Energie für den Laserstrahl, da darf die KI nicht schon 2 KW ziehen. ;-P mfg
Das widerspricht vollständig der Grundidee des Taalas-HCI und dem Grund, warum der Chip so schnell und so sparsam ist. Dort ist nämlich das Modell und jedes Gewicht in Hardware implementiert, deshalb gibt es da auch keinen Transistor zu viel. Da ist nichts mehr veränderbar. Wenn du es verändern willst, musst du einen neuen Chip mit neuem Modell routen und fertigen lassen. Wenn ich das bemerken darf: Das Ding nennt sich HC1, nicht HCI. Die richtige Schreibweise erleichtert die KI-Suche. :-))
Die Frage ist, WAS an einem solchen Server das Modul ersetzen kann. Kommt ja immer auf den Aspekt an. Reaktionszeit sicher, Brandbreite wahrscheinlich, Rechenleistung möglichkeise, aber ... Speichertiefe in keinem Fall. Und dies ist natürlich relevant.
Im Falle des hier besprochenen Taalas Chip eher nicht.
Dass ist das Problem am "Siliziumguss": die Entwicklung der KI-Modelle geht so schnell, dass ein "Siliziumabguss" immer veraltet sein wird. BTW: da hätten sie wohl besser die eigene HP mit in die Wissensdatenbank aufgenommen... ;-)
Angehängte Dateien:
:
Bearbeitet durch Moderator
Irgendwie kommt mir da das Henne/Ei Problem in den Sinn. Was war zuerst da: Die Homepage oder der Chip. Aber klar, das ist das Problem beim Silizium-Abguss: Ändern lässt sich da nichts mehr. AMD scheint Potential in den fest verdrahteten KI-Chip Modellen von Taalas zu sehen und hat die Firma gekauft: Antwort schreiben |
Anzeige
|
