Forum: Offtopic PC: das Zeitalter neuer Hardware


Announcement: there is an English version of this forum on EmbDev.net. Posts you create there will be displayed on Mikrocontroller.net and EmbDev.net.
von Christoph M. (mchris)


Lesenswert?

So um die 1990 Jahre herum musste man sich alle 3 Jahre einen neuen PC 
kaufen, weil die Rechnerentwicklung so dynamisch war und es ständig 
schnellere Prozessoren und größere Speicher gab.
Ich verwende schon seit ca. 8 Jahren System mit Quadcore und 16GB und es 
gab keinerlei Veranlassung, diese System aufzurüsten, da es sich super 
damit arbeiten lässt.
Jetzt, im Zeitalter der KI scheint mir der nächste große Schritt 
bezüglich der Hardware anzustehen. Viele neue Prozessoren haben NPUs 
oder man kauft sich große Grafikkarten wie die RTX4090.
Teurer ginge es natürlich auch:
https://www.youtube.com/watch?v=Wrv1sEn6hiw

Wie würdet ihr einen aktuellen Rechner auslegen?

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Ich kenne derzeit nur eine einzige Anwendung, die eine lokale NPU 
voraussetzt, mit einer Leistung von mindesten 40 TOPS. Das ist 
Microsofts Copilot KI, u.A. mit dem berüchtigten Recall.

Wenn man nicht gerade genau darauf abfährt, kann man noch überhaupt 
nicht abschätzen, was sich lohnt.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> So um die 1990 Jahre herum musste man sich alle 3 Jahre einen neuen PC
> kaufen, weil die Rechnerentwicklung so dynamisch war und es ständig
> schnellere Prozessoren und größere Speicher gab.

Mumpitz, gerade zu dieser Zeit, war Speicheraufrüstung und 
Prozessortausch gängig. Beispiel 386-DX4. Und wenn es garnicht mehr 
ging, hat man das Motherboard getauscht und nicht gleich die ganze Kiste 
auf den Schrott geworfen.


> Jetzt, im Zeitalter der KI scheint mir der nächste große Schritt
> bezüglich der Hardware anzustehen.

Irrtum.

> Wie würdet ihr einen aktuellen Rechner auslegen?
Schnelle, sichere Verbindung zum Rechenzentrum wo die KI lebt.

: Bearbeitet durch User
von Roland E. (roland0815)


Lesenswert?

KI ist nur ein anderer Begriff für "schnelle Suchmaschine mit 
idiotengerechter benutzeroberfläche".

Lokal brauche ich das gar nicht auf dem Rechner. Das kann in einem 
Rechenzentrum weit weg stehen.

man Netzwerk

von (prx) A. K. (prx)


Lesenswert?

Vor ein paar Monaten kaufte ich einen Mini-PC mit AMDs Phoenix APU. 
Dieser Prozessor von Anfang 23 hat 10 TOPS. Der ansonsten identische 
Nachfolger Hawk Point von Anfang 24 hat 16 TOPS. Erst der brandneue 
Strix Point hat bis zu 50 TOPS, passt also zum Copilot.

AMDs NPU wird überhaupt erst von Win 24H2 unterstützt. Ich habe bisher 
nicht herauszufinden können, was ich mit dieser NPU überhaupt anfangen 
kann. Tipps willkommen.

Mit diesem Stand war es mir also kaum möglich, die Anforderungen der 
nächsten Jahre abzuschätzen. Weshalb das Thema für meine Beschaffung 
auch bedeutungslos war und ich nicht bereit war, darin irgendwie zu 
investieren.

von (prx) A. K. (prx)


Lesenswert?

Roland E. schrieb:
> KI ist nur ein anderer Begriff für "schnelle Suchmaschine mit
> idiotengerechter benutzeroberfläche".

Das ist nur die erste Anwendung, von der jeder etwas mitbekam.

Die im Hintergrund laufende Auswertung der Recall Spyware (YMMV) 
benötigt eine lokale KI-Leistung von besagten 40 TOPS. Mancher mag froh 
sein, wenn er die nicht hat. 🤔

> Lokal brauche ich das gar nicht auf dem Rechner. Das kann in einem
> Rechenzentrum weit weg stehen.

Der Opera One R2 Browser, derzeit als Beta verfügbar, unterstützt rein 
lokal arbeitende KI. Man kann der tatsächlich Fragen stellen und 
Antworten erhalten - meist aber von der Form "Davon habe ich keine 
Ahnung". Ohne Tutorial ist diese Version nur für wenige Developer 
relevant, weshalb sie auch so heißt.

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Roland E. schrieb:
> KI ist nur ein anderer Begriff für "schnelle Suchmaschine mit
> idiotengerechter benutzeroberfläche".

Aus dem Bauch raus rechne ich für die nächsten Jahre mit signifikanter 
Nutzung von lokaler KI Hardware im Bereich Bild- und Videobearbeitung, 
als Beispiel.

: Bearbeitet durch User
von Hannes J. (Firma: _⌨_) (pnuebergang)


Lesenswert?

Christoph M. schrieb:
> Ich verwende schon seit ca. 8 Jahren System mit Quadcore und 16GB und es
> gab keinerlei Veranlassung, diese System aufzurüsten, da es sich super
> damit arbeiten lässt.

Eine Aufrüstung, falls noch nicht gemacht, würde ich empfehlen: HDDs 
durch SSDs ersetzen.

> Jetzt, im Zeitalter der KI scheint mir der nächste große Schritt
> bezüglich der Hardware anzustehen.

To soon. Das Zeitalter hat erst begonnen und ich würde nicht auf Vorrat 
kaufen. Denn wenn du die heute teuer bezahlten Features irgendwann 
wirklich brauchst wird die heute ach so moderne Hardware veraltet sein.

Hardware ist eine ganz schlechte Geldanlage. Kauf bei Bedarf, nicht auf 
Vorrat.

> Wie würdet ihr einen aktuellen Rechner auslegen?

Wir kennen deinen Bedarf nicht.

Von mir kann ich sagen dass ich schon vor vielen Jahren weg von 
speziellen PCs fürs Programmieren gekommen bin. Also keine High-End 
Systeme wie man sie früher brauchte damit der Compiler in erträglicher 
Zeit fertig wurde. Der ganze Haushalt war über Jahre hinweg gut mit 
Supermarkt-PCs bedient. Auch ich für's Programmieren und Fort- und 
Weiterbildung.

Mittlerweile finde ich die Qualität von Supermarkt-PCs zu schlecht, aber 
PCs und Laptops aus der Office-Klasse reichen hier immer noch.

Für mich würde ich heute praktisch wieder das kaufen was ich selber 
momentan in Benutzung habe (abgesehen von dem was andere 
Familienmitglieder verwenden, was mein Arbeitgeber spendiert und einem 
halben Kellerraum voll von Computerschrott):

Laptop mit USB-C Thunderbold an einem USB-C Hub-Monitor

Im der Bastelbude ein No-Name Mini-PC. Vorher stand da ein Tower mit 
vielen RS232 Schnittstellen.

von Roland E. (roland0815)


Lesenswert?

(prx) A. K. schrieb:
> Roland E. schrieb:
>> KI ist nur ein anderer Begriff für "schnelle Suchmaschine mit
>> idiotengerechter benutzeroberfläche".
>
> Das ist nur die erste Anwendung, von der jeder etwas mitbekam.
>

Nein. Es ist die einzige Anwendung die funktioniert. Alles, was als "KI" 
oder "AI" verkauft wird, ist nur das effektive Zusammensuchen und extrem 
schnelles und objektives Abgleichen von (gespeicherten) Informationen.

KI klingt halt hipp.

von (prx) A. K. (prx)


Lesenswert?

Roland E. schrieb:
> KI klingt halt hipp.

Wenn man sich streng an einer persönlichen Interpretation von KI 
orientiert, die am ominösen "I" darin aufgehängt ist, streitet man sich 
um ein Thema, das mit dem Thread nichts zu tun hat.

Wenn man sich an der Sau orientiert, die gerade durchs Dort flitzt, 
landet man bei den von dir skizzierten aufgeblasenen Suchmaschinen. Die 
allerdings bereits Ausleger zur Erzeugung von Artikeln und Büchern, 
Bildern, Videos, Musik entwickeln, was ein paar Richtungen zeigt, in die 
es weitergeht.

Wenn man sich wie in diesem Thread auf die Hardware bezieht, geht es 
schlicht um eine spezielle Form der Datenbearbeitung, für die man CPUs 
optimieren kann, und in der besonders NVidia-GPUs glänzen. Die bereits 
im Start erwähnte NPU, die nun auch in Prozessoren Einzug hält. Was man 
damit alles anfangen kann, ist noch ziemlich offen. Biete Lösung, suche 
Problem.

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Roland E. schrieb:
> Nein. Es ist die einzige Anwendung die funktioniert.

Deine Antwort betrachtet einen Snapshot vom Stand Oktober 2024. Seine 
Frage betrachtet die Aussicht auf Entwicklung der nächsten Jahre. Ich 
finde schon, dass das fundamental verschiedene Aspekte sind. Nur es es 
eben, wie mehrfach skizziert, zu früh, um Hardware auszulegen.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Aus dem Bauch raus rechne ich für die nächsten Jahre mit signifikanter
> Nutzung von lokaler KI Hardware im Bereich Bild- und Videobearbeitung,
> als Beispiel.

> Nur es es
> eben, wie mehrfach skizziert, zu früh, um Hardware auszulegen.

Mumpitz, Beschleuniger-Hardware für Video gibt es seit den Neunzigern.

bspw.: 
https://de.wikipedia.org/w/index.php?title=FAST_Multimedia&stable=0&redirect=no

Und oft wird KI mit ML (machine learning) verwechselt. beides stammt aus 
der Ecke  "Künstliches Neuronale Netze" unterscheiden sich aber 
wesentlich in der Architektur. ML macht man mit Parallelbeschleunigern 
(FPGA, GPU), KI dagegen ist im wesentlichen eine 
Server/Datenbankanwendung.

*https://www.projectpro.io/article/gpus-for-machine-learning/677

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Bradward B. schrieb:
> KI dagegen ist im wesentlichen eine Server/Datenbankanwendung.

Es ist eindeutig, dass sich in der Branche nach Jahren effektiven 
Stillstands seitens der grundsätzlichen Auslegung der Architekturen 
etwas rührt, auch wenn man noch keine Ahnung hat, was alles davon 
erfasst wird und wohin es letztlich führt. KI/AI ist nur das Stichwort 
für diese Entwicklung. Im Thread geht es ja auch nicht um KI, sondern um 
sowas wie ein NPU.

AI ist das, was man de fakto damit bezeichnet, ob Technik, ob Werbung. 
Nicht das, was die für begriffliche Präzision berüchtigten Deutschen als 
KI gerne definieren würden. Da wir in D die Hoheit über Begriffe vor 
langer Zeit aufgegeben haben, lohnt es sich nicht, sich über den 
Unterschied aufzuregen. Darüber, was die Leute alles unter diesem 
Begriff zusammenzufassen. Auch wenn manche das zum Hobby erküren.

: Bearbeitet durch User
von Sherlock 🕵🏽‍♂️ (rubbel-die-katz)


Lesenswert?

(prx) A. K. schrieb:
> Aus dem Bauch raus rechne ich für die nächsten Jahre mit signifikanter
> Nutzung von lokaler KI Hardware im Bereich Bild- und Videobearbeitung,
> als Beispiel.

Allerdings stecken die aktuell verbauten "KI Chips" mit Sicherheit in 
den Kinderschuhen und werden sehr schnell obsolet. Ich erinnere an die 
Historie der Grafikkarten.

von (prx) A. K. (prx)


Lesenswert?

Sherlock 🕵🏽‍♂️ schrieb:
> Allerdings stecken die aktuell verbauten "KI Chips" mit Sicherheit in
> den Kinderschuhen und werden sehr schnell obsolet.

Yep. Weshalb es keinen Sinn ergibt, auf Zukunft zu planen, sondern man 
sich bei Beschaffungen auf das konzentrieren sollte, was man zum 
betreffenden Zeitpunkt benötigt. Nicht auf das, was vielleicht kommen 
könnte.

Auf den Startbeitrag bezogen: Kein akuter Bedarf, folglich keine 
Änderung sinnvoll. Eine SSD wurde ja schon erwähnt.

: Bearbeitet durch User
von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

Da mal ein Experten-Video zu:
"Desktop-Rechner wie bei OpenAI:

https://youtu.be/Wrv1sEn6hiw?t=150

Technische Eckpunkte das Schätzchens:
* Nvidea CPU mit 72 ARM-Kernen
* Graphikkarte NVidea H100 mit 96 GB RAM und 3.34 TB/s
* Arbeitsspeicher 480 GB
* Preis 32 k€

: Bearbeitet durch User
Beitrag #7762536 wurde vom Autor gelöscht.
von Hannes J. (Firma: _⌨_) (pnuebergang)


Lesenswert?

Bradward B. schrieb:
> Da mal ein Experten-Video zu:

Experte? Ufff. Das ist der Vorzeige-Hipster der c't. Im Video sagt er 
übrigens selbst dass er keine Ahnung vom Programmieren hat

https://youtu.be/Wrv1sEn6hiw?si=F45VBQRxVlMtqEzP&t=635

Er spielt also nur mit dem Zeug rum. Kann man machen, Experte geht aber 
anders.

Das ist vergleichbar mit einem Typen der sich einen teuren Sportwagen 
leiht (gekauft wird er den PC nicht haben), vor einen Club fährt und 
dort den Motor aufheulen lässt. Macht den Typen auch nicht zu einem 
Rennfahrer.

> * Preis 32 k€

Brauchst du heute? Kaufst du heute.

Braust du heute nicht, willst du nur haben? Dann lass besser sein. Denn:

Es gibt Null Garantie ob diese Architektur Zukunft hat.
Es gibt Null Garantie ob darauf in Zukunft eine Anwendung läuft die du 
dann brauchst.
Es gibt Null Garantie ob du vergleichbare Leistung in einem Jahr nicht 
schon für 10k Euro bekommst.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Er spielt also nur mit dem Zeug rum. Kann man machen, Experte geht aber
> anders.

Naja "spielen" heisst hier, das er größere Sprachmodelle die so in die 
Leistungsklasse ChatGPT gehen installiert und testet. Das ist schon 
mehr, als der 99% der "Ich rüste meinen Rechner auf" Gamer-Spackos drauf 
hat.
Und darunter sind auch Sprachmodelle, die grad fürs KI-unterstütze 
Coding passen. (Nemotron im genannten ct-Video - 
https://youtu.be/Wrv1sEn6hiw?t=540 )

Also, das was die "Normalos" suchen, die hier im Forum das Banner "Jeder 
Coder braucht KI" schwingen ;-)

https://blog.getbind.co/2024/10/17/llama-3-1-nemotron-70b-is-it-better-for-coding-compared-to-gpt-4o-and-claude-3-5-sonnet/

> Es gibt Null Garantie ob diese Architektur Zukunft hat.

Naja, Amazon setzt diese Technik überwiegend in ihren Rechenzentren ein 
...

: Bearbeitet durch User
von Lotta  . (mercedes)


Lesenswert?

Hannes J. schrieb:
> Bradward B. schrieb:
>>
> Es gibt Null Garantie ob diese Architektur Zukunft hat.
> Es gibt Null Garantie ob darauf in Zukunft eine Anwendung läuft die du
> dann brauchst.
> Es gibt Null Garantie ob du vergleichbare Leistung in einem Jahr nicht
> schon für 10k Euro bekommst.

Genau.
Deshalb werden solche Rechner auch geleast und nicht gekauft.
Ich mach zum Beispiel unsere HR - Sachen auf:

Threadripper pro 32 Kerne, 64 Threads 4,2G
256 Gbyte RAM, 10Gbit Netzwerkanbindung
Luftkühlung mit 6X Noctua Gehäuse und CPU-Kühler
;-P

Die Zukunft ist nicht KI in großen Rechenzentren.
Die Zukunft ist Bionik vor Ort. Selbstständig "denkende"
und handelnde Maschinen vor Ort, die Energie und IT-Mäßig autark sind.

--------
Achja:
Bradward B., warst Du in der GST?
Nix für ungut!

mfg

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Die Zukunft ist Bionik vor Ort. Selbstständig "denkende"
> und handelnde Maschinen vor Ort, die Energie und IT-Mäßig autark sind.

Naja Bionik ist grad was anderes als "Denken nachmachen" - Bionik ist 
eher Machinenbau nach realen Vorbildern in der Natur.

https://de.wikipedia.org/wiki/Bionik

: Bearbeitet durch User
von Al. K. (alterknacker)


Lesenswert?

Lotta  . schrieb:
> Achja:
> Bradward B., warst Du in der GST?
> Nix für ungut!

Wer Kennt das denn noch, das geschriebene sollte immer mit Distanz 
gelesen werden.


MfG
alterknacker

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> ... warst Du in der GST?


Hm, viele haben die GST (g|b)enutzt, um dort in jungen Jahren für wenig 
Geld ( < 100 Mark) die Fahrerlaubnis zu machen.

https://www.ddr-museum.de/de/blog/archive/die-gesellschaft-fuer-sport-und-technik

: Bearbeitet durch User
von Al. K. (alterknacker)


Lesenswert?

Bradward B. schrieb:
> Hm, viele haben die GST (g|b)enutzt, um dort in jungen Jahren für wenig
> Geld ( < 100 Mark) die Fahrerlaubnis zu machen.


Das stimmt, deswegen besitze ich keine.


MfG
alterknacker

von Harald K. (kirnbichler)


Lesenswert?

Bradward B. schrieb:
> Mumpitz, gerade zu dieser Zeit, war Speicheraufrüstung und
> Prozessortausch gängig.

Ja, damit hat man die Nutzungsdauer des PCs auf drei Jahre bekommen 
können. Danach gab es neue inkompatible Prozessorsockel und neue 
inkompatible Speichermodule, vom Bussystem auf dem Motherboard ganz zu 
schweigen

> Beispiel 386-DX4.

Gab es nie. Du könntest einen 486 meinen, aber auch der war nicht 
beliebig austauschbar, da da das Spiel mit den abweichenden 
Versorgungsspannungen anfing.

> Und wenn es garnicht mehr ging, hat man das Motherboard getauscht

Das haben nur bastelaffine Nutzer gemacht.

> und nicht gleich die ganze Kiste auf den Schrott geworfen.

1988 war der Standard-PC ein XT-kompatibler. Zwar gab es schon 286er, 
die waren aber so teuer, daß nur wenige Leute sie kauften. Und die 
allerersten 386er gab es auch schon, die waren nur noch viel teurer und 
brachten in Ermangelung passender Software nur wenig Vorteil gegenüber 
286ern.

Die XT-Kompatiblen von 1988 liefen immerhin meistens mit höheren 
Taktraten als dem Standard von 4.77 MHz, die billigeren mit 8 MHz, die 
etwas besseren mit 10 MHz.

Ein, zwei Jahre später war der 286er der Standard-PC, oft mit 
Taktfrequenzen von 8 MHz. Schnellere 286er waren mit der damaligen 
Technik kaum sinnvoll konstruierbar, man brauchte sündhaft teure RAMs 
mit sehr schneller Zugriffsgeschwindigkeit. Das änderte sich, als die 
ersten besseren Speichercontroller in Form des "NEAT"-Chipsatzes 
auftauchten, mit denen konnte man mit den üblichen 80-ns-DRAMs auch ATs 
mit 12 oder sogar 16 MHz betreiben.

In der Zwischenzeit transformierten sich Graphikkarten vom Standard von 
1988 (Hercules) recht schnell über EGA hin zu VGA, was einen 
entsprechenden Verschleiß von Monitoren mit sich brachte. Und VGA-Karten 
hatten anfangs zu wenig Bildschirmspeicher (nur 256 kB), so daß für 
etwas anspruchsvollere Graphikanwendungen wieder neurere Karten mit mehr 
Speicher für mehr Farbtiefe nötig waren.

1992 begannen sich 386er durchzusetzen, sehr selten mit mehr als 8 MB 
Speicher, weil die Mainboards das in Ermangelung von Stecksockeln nicht 
unterstützten.

Beim Wechsel auf 486er hat man dann i.d.R. gleich alles weggeworfen, 
weil a) neue Speichermodule nötig wurden (72polige DIMMS statt 30poliger 
SIMMs) und b) man schnellere Graphik wollte, wozu es den "VESA Local 
Bus" gab.

Bei den leistungsfähigeren PCs wurde kurzzeitig EISA verwendet, das aber 
wurde dann schnell vom PCI-Bus verdrängt wurde, der in 486ern erstmalig 
auftauchte und bei den ab 1993 eingeführten Pentium-Systemen alles 
andere restlos verdrängte.

Oh, das sind jetzt gerade mal 5, 6 Jahre seit den XTs von 1988, und ein 
ganzer Haufen von PC-Generationen, die alle eine wesentliche Eigenschaft 
hatten: Sie waren binnen kürzester Zeit zu langsam.



Und das ist etwas, was sich schon vor über zehn Jahren geändert hat. Man 
kann problemlos mit einem zehn Jahre alten PC produktiv arbeiten, nur 
Anwendungen wie "Spiele" sind damit ein Problem.

Und da das natürlich für die PC-Industrie ein Problem ist, wird jetzt 
völlig sinnloser KI-Quatsch ausgekippt, auf dessen Verheißungen 
reihenweise Menschen reinfallen.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Beim Wechsel auf 486er hat man dann i.d.R. gleich alles weggeworfen,
> weil a) neue Speichermodule nötig wurden (72polige DIMMS statt 30poliger
> SIMMs) und b) man schnellere Graphik wollte, wozu es den "VESA Local
> Bus" gab.

Speicher und CPU sind bei weitem, auf den Systempreis bezogen, nicht 
"alles"  veilleicht ein Drittel. Ja für festplatten hat man damals schon 
mal nen Tausender gelöhnt, CD-Brenner wurden auch an neuen Motherboard 
weiterbenutzt, ebenso Monitor. Und was schneller Grafik meint, ne Tseng 
Labs ET4000 war für den Bürokram völlig ausreichend. Höhere Auflösung 
war da wichtiger als schnelles Klötzchen-schieben in irgendwelchen 
Games. Die Soundblaster reichte auch bis eh alles in integrierten Audio 
entschwand.

>> Und wenn es garnicht mehr ging, hat man das Motherboard getauscht

> Das haben nur bastelaffine Nutzer gemacht.

Da gibt es nicht viel zu basteln, das ist nur "PC-Kisten 
zusammenschrauben",
manche Studenten machen das Nebenjob, brauchst nichtmal einen 
Gesellenbrief dazu, das macht dir auch ein Schüler, der einen 
Schraubendreher halten kann.

> Und das ist etwas, was sich schon vor über zehn Jahren geändert hat. Man
> kann problemlos mit einem zehn Jahre alten PC produktiv arbeiten, nur
> Anwendungen wie "Spiele" sind damit ein Problem.

Naja, irgenwann ist support-Ende für das OS, auch ein Problem.



> Und da das natürlich für die PC-Industrie ein Problem ist, wird jetzt
> völlig sinnloser KI-Quatsch ausgekippt, auf dessen Verheißungen
> reihenweise Menschen reinfallen.

Auch ohne den KI-Quatsch würden/werden diese User ihre (noch) 
funktionierende Kiste wegschmeissen und neu kaufen.

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

Bradward B. schrieb:
> Speicher und CPU sind bei weitem, auf den Systempreis bezogen, nicht
> "alles"  veilleicht ein Drittel. Ja für festplatten hat man damals schon
> mal nen Tausender gelöhnt, CD-Brenner wurden auch an neuen Motherboard
> weiterbenutzt, ebenso Monitor. Und was schneller Grafik meint, ne Tseng
> Labs ET4000 war für den Bürokram völlig ausreichend.

CD-Brenner? Du scheinst deutlich später mit PCs in Kontakt gekommen zu 
sein als ich; CD-Brenner waren erst in der zweiten Hälfte der 90er ein 
"Ding". Der berühmte CDD2000 von Philips, einer der ersten bezahlbaren 
CD-Brenner, kam erst 1996 auf den Markt.

Ich habe nur den Zeitraum bis zum Erscheinen des ersten Pentium 
beschrieben ...

Und was Arbeitsspeicher betrifft: Ich habe 1992 einen 386 mit 16 MB 
ausgestattet, um darauf die Beta von Windows NT 3.1 mit erträglicher 
Performance verwenden zu können, das war richtig teuer. Oh, wie 
schmerzlich die Erinnerung doch ist ...

von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:
> Wie würdet ihr einen aktuellen Rechner auslegen?

Was willst Du denn mit der KI machen? Wenn es nichts konkretes ist, dann 
eher noch warten, bis die 2. Generation der NPUs verfügbar ist. Wenn es 
jetzt sein muss, dann vielleicht eine kleine GPU. Nvidia hat hier mal 
eine Übersicht, wieviel TOPS ihre GPUs haben und das ist schon sehr viel 
mehr als bei den NPUs. 
https://www.nvidia.com/de-de/geforce/graphics-cards/compare/

Allerdings kostet natürlich selbst eine RTX4060 300€. Deswegen könnte 
eine Lösung für Dich auch sein, den Rechner auf eine extra GPU 
vorzubereiten (Netzteil+Platz im Gehäuse), aber erst zu kaufen, wenn Du 
eine konkrete Anwendung hast.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Ich habe nur den Zeitraum bis zum Erscheinen des ersten Pentium
> beschrieben ...

Den Pentium(-1) hat man gerne übersprungen, schon wegen FDIV-Bug und 
geringen Performance-Vorteilen gegenüber einem 486 auf 100MHz(intern). 
Der genügte bis zu den Zeiten, in denen ein AMD-K6 (oder wars -K5?) als 
Auslaufmodell günstig zu haben war.

> Und was Arbeitsspeicher betrifft: Ich habe 1992 einen 386 mit 16 MB
> ausgestattet, um darauf die Beta von Windows NT 3.1 mit erträglicher
> Performance verwenden zu können, das war richtig teuer. Oh, wie
> schmerzlich die Erinnerung doch ist ...

Meine Begründung dem 386(40Mhz) seinen RAM auf 8 MB zu verdoppeln war 
damals Linux (slackware (0.99pl15) mit X-windows. Eventuell war für 
"meine" Kiste damit auch das Ende des cachbaren Bereichs erreicht ohne 
das TAG-RAM aufzublasen.

Besonders "schmerzhaft" war dieser Schritt für mich nicht, waren ja nur 
4 MB. Und man hatte eine (umschaltbare) Alternative zu dem 
Windows-Consumer-Geschiss (3.11).

Ja lang ist es her: 
http://hippy.csoma.elte.hu/~nil/homepage/nil/doc/LinuxTutorial/node32.html

: Bearbeitet durch User
von Rolf S. (audiorolf)


Lesenswert?

Christoph M. schrieb:
> Wie würdet ihr einen aktuellen Rechner auslegen?

Es gibt 2 Wege:

Du hast eine konkrete technische Anforderung, dann nimm das + 10% 
Reserve als Grundlage. Fertig.

Du hast das nicht und willst optimal investieren? dann nimm das was die 
Meisten kaufen und in hohen Stückzahlen geht. Das sind PCs um Bereich 
900,-. durch die hohe Stückzahl bekommst du das Meiste pro Euro.

von Harald K. (kirnbichler)


Lesenswert?

Bradward B. schrieb:
> Meine Begründung dem 386(40Mhz) seinen RAM auf 8 MB zu verdoppeln war
> damals Linux (slackware (0.99pl15) mit X-windows.

Tja, ich musste halt schon anderthalb Jahre früher sehen, wie das Geld 
verdient wird. 0.99.15 gabs im Februar '94.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

>> Meine Begründung dem 386(40Mhz) seinen RAM auf 8 MB zu verdoppeln war
>> damals Linux (slackware (0.99pl15) mit X-windows.
>
> Tja, ich musste halt schon anderthalb Jahre früher sehen, wie das Geld
> verdient wird. 0.99.15 gabs im Februar '94.

Hm, nach meinen Erinnerungen war das früher, so 1993; Februar 1994 wurde 
die V 1.0 rausgeballert, und die 0.99 gabs IMHO recht lange. Vielleicht 
war es auch patchlevel 5 und nicht 15, ist halt lange her.
https://mirror.math.princeton.edu/pub/oldlinux/Linux.old/docs/history/0.99.html

Waren ein grosser Stapel Disketten, in einer Nachtsession an der Uni 
gezogen, die bequeme SuSE-CD gabs erst ab 1994.

von Harald K. (kirnbichler)


Lesenswert?

Bradward B. schrieb:
> Hm, nach meinen Erinnerungen war das früher, so 1993; Februar 1994 wurde
> die V 1.0 rausgeballert, und die 0.99 gabs IMHO recht lange.

0.99.15 ist die Kernelversion, nicht die Version von Slackware. Steht so 
jedenfalls hier https://de.wikipedia.org/wiki/Slackware#Geschichte. 
Diese Kernelversion gehörte zu Slackware 1.1.2.

Letzlich ist's auch wurscht; da es bei meinem Job damals auch darum 
ging, bestehende Software zu portieren (Anwendungen für Windows 3.0), 
war NT die logische Betriebssystemkonsequenz, zumal MS schon mit der 
Beta recht komplette Dokumentation und einen Compiler mitlieferte, 
etwas, was beim ähnlich alten OS/2 2.0 nicht der Fall war. Linux war '92 
noch deutlich zu frisch, und vor allem deutlich zu inkompatibel.

von Christoph M. (mchris)


Lesenswert?

A.K.
>AMDs NPU wird überhaupt erst von Win 24H2 unterstützt. Ich habe bisher
>nicht herauszufinden können, was ich mit dieser NPU überhaupt anfangen
>kann. Tipps willkommen.

Es ist scheinbar so, dass diese Art der NPUs eher vorbereitend für 
zukünftige Anwendungen eingebaut sind.

Vor kurzem hatte folgenden Kommentar gefunden:

"Der Laptop hat einen Ryzen 7 8845HS, der schafft laut Datenblatt 38 
TOPS (davon 16 NPU)."
Wenn das stimmt, finde ich es interessant das die Rechenleistung der CPU 
über der der NPU liegt.
Dort stellt sich dann die Frage, ob die heruntergeladenen Modelle auf 
einer ziemlich inhomogenen Architektur laufen.

Wenn es um die Frage geht, was man mit den lokalen NPUs machen können 
soll, fallen mir verschiedene Antworten ein. Das Fraunhofer Institut 
z.B. betreibt ChatGPT auf ihren lokalen Servern, da sich in deren 
Anfragen meist um vertrauliche Forschungsfragen geht. Oder z.B. 
Übersetzungs-KIs, wie z.B. Deepl, mit dem meine naiven, jungen Kollegen 
gerne mal interne Dokument übersetzen lassen.

Aber auch für den Privatanwender kann eine lokale KI extrem nützlich als 
Alexa-Ersatz sein, wenn man sich kein Cloudmikrofon ins Wohnzimmer 
stellen will.
Was die großen Voice-KIs schon können, sieht man in diesen Video von 
Open AI Advanced Voice, das bei uns ohne VPN wohl noch nicht verfügbar 
ist:
https://www.youtube.com/watch?v=f_8PLJAwRj0

von (prx) A. K. (prx)


Lesenswert?

Christoph M. schrieb:
> Wenn das stimmt, finde ich es interessant das die Rechenleistung der CPU
> über der der NPU liegt.

CPU oder GPU oder beide zusammen?

Passt rechnerisch, denn für Phoenix finde ich 32 TOPS insgesamt in AMD 
Sheets, somit 22 TOPS ohne NPU bei Phoenix und Hawk Point:
7840HS: 32 TOPS = 10 + 22
8845HS: 38 TOPS = 16 + 22

: Bearbeitet durch User
von Sherlock 🕵🏽‍♂️ (rubbel-die-katz)


Lesenswert?

Bei Notebooks ist die Kühlung das Nadelöhr. Wenn du eine xPU hoch 
auslastest muss die andere ruhen. Die Spitzenleistung ist viel kürzer 
abrufbar, als bei einem PC. Für die meisten Office Anwendungen reicht 
das. Bei vielen Games merkt man den Unterschied hingegen deutlich, und 
bei lokalen KI Anwendungen wird es vermutlich auch so sein, weil die NPU 
da ja über längere Zeiträume beschäftigt ist.

von (prx) A. K. (prx)


Lesenswert?

Sherlock 🕵🏽‍♂️ schrieb:
> Bei Notebooks ist die Kühlung das Nadelöhr. Wenn du eine xPU hoch
> auslastest muss die andere ruhen.

Nicht unbedingt ruhen, das wird ausbalanciert. Der FS2020 beispielsweise 
(der auf dem Mini-PC gut läuft) benötigt sowohl hohe Leistung in einem 
Core der CPU, also auch hohe Leistung der GPU.

Zur Illustration: Die maximale Taktfrequenz des 7840HS liegt bei 5,1 
GHz. Wenn ich einen einzelnen Thread ein Trivialprogramm laufen lasse, 
kriege ich die auch, dauerhaft. Dabei verbrät dieser eine Core alleine 
10 W, ohne den Rest vorm SoC. Auf 4,5 GHz gedrosselt sind es nur noch 
5W.

Über den Daumen wird also für die obersten ~10% der erreichbaren 
Rechenleistung die Wärmeleistung verdoppelt. Umgekehrt betrachtet 
verliert man nur vergleichsweise wenig CPU Leistung, wenn man durch 
Drosselung des Taktes der CPU von der zulässigen Wärmeleistung einiges 
an die GPU abgibt.

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Sherlock 🕵🏽‍♂️ schrieb:
> Die Spitzenleistung ist viel kürzer abrufbar, als bei einem PC.

Wobei der beliebte Geekbench genau deshalb in Intervallen mit kurzer 
Aktivität gefolgt von deutlich Abkühlzeit arbeitet. Andere Benchmarks 
arbeiten mit Dauerleistung.

Ist man auf Dauerleistung aus, überschätzt also der Geekbench die 
effektive Rechenleistung von thermisch sehr begrenzen Laptops deutlich. 
Andererseits schätzt er mit diesem Verfahren die Leistung von typischen 
Laptop-Aktivitäten besser ein, denn das ist eher nicht Videotranscoding. 
Kurzes Rendering einer Webseite kann aber mit maximaler Leistung 
erfolgen, für hohe wahrgenommene Geschwindigkeit - die Schwuppdizität.

: Bearbeitet durch User
von Norbert (der_norbert)


Lesenswert?

> das Zeitalter neuer Hardware

Es gibt kein ›Zeitalter neuer Hardware‹ oder, alternativ, es ist alle 
drei Monate das ›Zeitalter neuer Hardware‹

Christoph M. schrieb:
> Wie würdet ihr einen aktuellen Rechner auslegen?

Einfach! Wenn der Rechner das kann und das macht was ich brauche, dann 
ist er genau richtig. Wen interessiert es, ob er nun schon 6 Tage, 6 
Monate oder 6 Jahre alt ist?

von (prx) A. K. (prx)


Lesenswert?

Norbert schrieb:
> Es gibt kein ›Zeitalter neuer Hardware‹ oder, alternativ, es ist alle
> drei Monate das ›Zeitalter neuer Hardware‹

Prozessor-Futurologie ist eine Wissenschaft für sich.

Es geht im Startbeitrag eher um neuartig als um neu. Mit dem K6 brachte 
AMD einen Prozessor, der für die Anforderungen aus der Zeit der 
Konstruktion perfekt geeignet war. Dummerweise kam ungefähr zu dessen 
Einführung eine neue Anforderung auf, nämlich hohe Fliesskommaleistung.

Die des K6 war für bisherige Verhältnisse recht gut, aber schwach 
gegenüber dem Pentium MMX, wenn darauf optimiert (oder gar Pentium Pro). 
Und wurde von neuer Software auch privat alsbald genutzt, was den K6 
dabei schwach aussehen liess.

Genau in einer solchen Phase befinden wir uns heute. Die Anforderungen 
von lokal betriebener KI sind neu und die ersten Designs beginnen, sich 
daran zu orientieren, noch ziemlich ins Blaue peilend. Aber keiner will 
den Zug verpassen, so wie AMD damals.

Das ist hauptsächlich bei jenen Laptops oder Kompakt-PCs ein Thema, die 
zwingend mit interner GPU arbeiten. Während stationäre PCs mit grossen 
Slots und dickem Netzteil dafür eine auch nachträglich aufrüstbare 
leistungsfähige GPU-Karte in Stellung bringen können.

Eine NPU scheint mir auf einen speziellen Subset der Operationen 
aktueller GPUs optimiert zu sein. Sie ist somit bei Laptop-SoCs weitaus 
bedeutender als bei Desktop-Prozessoren ohne GPU.

: Bearbeitet durch User
von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:

> "Der Laptop hat einen Ryzen 7 8845HS, der schafft laut Datenblatt 38
> TOPS (davon 16 NPU)."
> Wenn das stimmt, finde ich es interessant das die Rechenleistung der CPU
> über der der NPU liegt.
> Dort stellt sich dann die Frage, ob die heruntergeladenen Modelle auf
> einer ziemlich inhomogenen Architektur laufen.

Das ist normal. Es werden ja immer wieder neue Operatoren entwickelt und 
wenn die NPU die nicht ausführen kann, dann müssen sie halt auf der CPU 
oder GPU laufen.

> Wenn es um die Frage geht, was man mit den lokalen NPUs machen können
> soll, fallen mir verschiedene Antworten ein. Das Fraunhofer Institut
> z.B. betreibt ChatGPT auf ihren lokalen Servern, da sich in deren
> Anfragen meist um vertrauliche Forschungsfragen geht.

ChatGPT 3.5 braucht so um die 300GB Speicher, z.B. in Form von 4 GPUs 
mit je 80GB RAM. Die NPU greift wohl auf den Hauptspeicher zu, also 
würde es reichen, wenn man so viel Hauptspeicher hat. Die meisten 
Privat-PCs haben sowas natürlich nicht. Man könnte es natürlich auch 
jedes mal von der SSD lesen, aber die schnellsten SSDs machen z.Zt. so 
um die 11GB/s, d.h. es würde um die 30 Sekunden dauern das Netz zu 
lesen.

Es gibt natürlich auch kleinere Netze, die sowas können, aber die sind 
auch deutlich schlechter und brauchen trotzdem relativ viel Speicher. 
Wer will schon seinen Rechner mit 32GB RAM ausstatten, damit er die 
Hälfte der KI geben kann?

> Oder z.B.
> Übersetzungs-KIs, wie z.B. Deepl, mit dem meine naiven, jungen Kollegen
> gerne mal interne Dokument übersetzen lassen.

Bei uns gibts da klare Ansagen von der IT dazu.

von Harald K. (kirnbichler)


Lesenswert?

(prx) A. K. schrieb:
> Genau in einer solchen Phase befinden wir uns heute. Die Anforderungen
> von lokal betriebener KI sind neu und die ersten Designs beginnen, sich
> daran zu orientieren, noch ziemlich ins Blaue peilend. Aber keiner will
> den Zug verpassen, so wie AMD damals.

Anders als Fließkommarechenleistung, die ja einen Sinn hat, ist das bei 
dem "KI"-Schmonz nicht der Fall. Ob die sinnlose Halluzination nun in 
einem Rechenzentrum sonstwo oder im eigenen Rechner stattfindet, ist 
doch eigentlich ziemlich schnurz.

Und nur für diese sinnlose "KI", die einem angeblich das Arschabwischen 
abnehmen soll, neue Hardware anschaffen?

von (prx) A. K. (prx)


Lesenswert?

Harald K. schrieb:
> Und nur für diese sinnlose "KI", die einem angeblich das Arschabwischen
> abnehmen soll, neue Hardware anschaffen?

Zwingt dich jemand dazu? Dürfen andere darüber nicht diskutieren?

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

(prx) A. K. schrieb:
> Zwingt dich jemand dazu?

Du hast den Eindruck erweckt, daß das nötig wäre. Was denn jetzt?

von (prx) A. K. (prx)


Lesenswert?

Wo? Im Gegenteil.

Beitrag "Re: PC: das Zeitalter neuer Hardware"
Beitrag "Re: PC: das Zeitalter neuer Hardware"

Ich beschrieb, dass die Prozessorhersteller sich des Themas konkret 
annehmen müssen. Nicht Du. Nicht Christoph.

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

(prx) A. K. schrieb:
> Ich beschrieb, dass die Prozessorhersteller sich des Themas konkret
> annehmen müssen.

Und warum "müssen" sie das? Um eine sinnlose Bullshit-Technik zu 
unterstützen, die derzeit wie eine bunte Sau durchs Dorf getrieben wird?

von (prx) A. K. (prx)


Lesenswert?

Harald K. schrieb:
> Und warum "müssen" sie das? Um eine sinnlose Bullshit-Technik zu
> unterstützen, die derzeit wie eine bunte Sau durchs Dorf getrieben wird?

Siehe "Aber keiner will den Zug verpassen, so wie AMD damals."
Beitrag "Re: PC: das Zeitalter neuer Hardware".

Ich hatte das nicht zufällig mit Futurologie betitelt. Die Hersteller 
wissen nämlich nicht so genau wie Du, wohin die Reise geht. Wenn's mit 
der Sau nichts wird, sind ein paar unproduktive mm² Die-Fläche verloren. 
Falls doch, und sie haben nichts, gewinnt die Konkurrenz.

Wenn Du mit deiner Prophezeiung falsch liegst, hat das exakt Null 
Folgen. Oder wärst Du bereit, dein Häuschen für eine entsprechende Wette 
zu setzen? Beim Hersteller geht es um Milliarden.

: Bearbeitet durch User
von Markus K. (markus-)


Lesenswert?

Harald K. schrieb:
> Anders als Fließkommarechenleistung, die ja einen Sinn hat, ist das bei
> dem "KI"-Schmonz nicht der Fall. Ob die sinnlose Halluzination nun in
> einem Rechenzentrum sonstwo oder im eigenen Rechner stattfindet, ist
> doch eigentlich ziemlich schnurz.

Da an dem Thema geforscht wird, gehe ich davon aus, dass das in ein paar 
Jahren kein bzw. nur noch ein geringes Problem sein wird. Insbesondere 
wenn man PCs nur selten kauft (und darum geht es in dem Thread ja) ist 
auch wichtig, was in 5 Jahren denn so üblich/machbar ist.

Außerdem liegt hier ein großes Missverständnis vor: Diese NPUs sind ganz 
allgemein dazu da, neuronale Netze auszuführen, nicht nur Chatbots. 
Dafür gibt es sehr viele Anwendungen: Spracherkennung, Übersetzungen, 
Sprachausgabe (z.B. wenn die japanischen Kollegen nicht gut Englisch 
sprechen und ich kein Japanisch), Bilder analysieren (Verschlagwortung 
der Fotosammlung), Bilder retuschieren (entferne alle Stromleitungen in 
dem Bild) usw. usf.

von Christoph M. (mchris)


Lesenswert?

Markus K. (markus-)
27.10.2024 12:00
>ChatGPT 3.5 braucht so um die 300GB Speicher, z.B. in Form von 4 GPUs
>mit je 80GB RAM. Die NPU greift wohl auf den Hauptspeicher zu, also
>würde es reichen, wenn man so viel Hauptspeicher hat. Die meisten
>Privat-PCs haben sowas natürlich nicht. Man könnte es natürlich auch
>jedes mal von der SSD lesen, aber die schnellsten SSDs machen z.Zt. so
>um die 11GB/s, d.h. es würde um die 30 Sekunden dauern das Netz zu
>lesen.

Ich denke, es führt zur Fehleinschätzung den Speicherverbrauch als 
wesentlichen Maßstab zu verwenden. Das wesentliche Merkmal neuronaler 
Verarbeitung ist, dass der Speicher nahe am Rechenkern sitzt (das im 
Detail auszuführen, ist zu aufwändig). Einer der größten Bremser bei 
gewöhnlichen CPU-Architekturen ist das rein- und raus schaufeln der 
Daten. Das wir ein wenig durch die verschiedenen Cashes der CPU 
verwischt, wenn die CPU Loops rechnet und die Daten im Cash schon 
vorhanden sind. Bei neuronalen Architekturen ist es ideal, wenn alle 
Gewichten schon nah an den einzelnen Kernen geladen sind und nicht 
nachgeladen werden müssen.
Auf das Problem trifft Keno hier ab Minute 9:

https://www.youtube.com/watch?v=Wrv1sEn6hiw

von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:
> Markus K. (markus-)
> 27.10.2024 12:00
>>ChatGPT 3.5 braucht so um die 300GB Speicher, z.B. in Form von 4 GPUs
>>mit je 80GB RAM. Die NPU greift wohl auf den Hauptspeicher zu, also
>>würde es reichen, wenn man so viel Hauptspeicher hat. Die meisten
>>Privat-PCs haben sowas natürlich nicht. Man könnte es natürlich auch
>>jedes mal von der SSD lesen, aber die schnellsten SSDs machen z.Zt. so
>>um die 11GB/s, d.h. es würde um die 30 Sekunden dauern das Netz zu
>>lesen.
>
> Ich denke, es führt zur Fehleinschätzung den Speicherverbrauch als
> wesentlichen Maßstab zu verwenden.

Aber wenn der Speicher nicht da ist, dann läuft das Netz halt gar nicht 
bzw. nur extrem viel langsamer von SSD. Wobei die SSD natürlich auch nur 
eine Variante von nicht-lokalem Speicher darstellt.

> Das wesentliche Merkmal neuronaler
> Verarbeitung ist, dass der Speicher nahe am Rechenkern sitzt (das im
> Detail auszuführen, ist zu aufwändig). Einer der größten Bremser bei
> gewöhnlichen CPU-Architekturen ist das rein- und raus schaufeln der
> Daten. Das wir ein wenig durch die verschiedenen Cashes der CPU
> verwischt, wenn die CPU Loops rechnet und die Daten im Cash schon
> vorhanden sind.

Ich hätte jetzt aber erwartet, dass neuronale Netze den Speicher sehr 
viel linearer ansprechen als die typischen CPU-Applikationen.

> Bei neuronalen Architekturen ist es ideal, wenn alle
> Gewichten schon nah an den einzelnen Kernen geladen sind und nicht
> nachgeladen werden müssen.
> Auf das Problem trifft Keno hier ab Minute 9:
>
> https://www.youtube.com/watch?v=Wrv1sEn6hiw

Die RTX4090 ist über PCIe 4.0 x16 angebunden, was halt nur 32GB/s sind. 
Der lokale GPU-Speicher hat eine Bandbreite von 1TB/s, ist also etwa 
Faktor 30 schneller. Im Video erzählt er, dass die GH200 bei dem 46GB 
Netz 20x schneller ist und bei kleinen Netzen 40-60% schneller. Das 
passt von der Größenordnung. Ich sehe aber dabei noch nicht, dass der 
Speicher lokal sein muss. Er muss halt schnell sein.

NPUs haben normalerweise keinen großen lokalen Speicher. Die Daten 
müssen also aus dem Hauptspeicher kommen. Da ist die Frage, wie die NPUs 
angebunden sind. Da sie mit im Prozessor sitzen, hätte ich vermutet, 
dass sie nicht über PCIe angebunden sind. Ich habe auf die Schnelle aber 
nichts dazu gefunden.

Apple bei einigen Modellen den Hauptspeicher mit 256bit angebunden, 
allerdings mit einer Shared Memory GPU.

von Lotta  . (mercedes)


Lesenswert?

Die neuesteten, exclusivsten Motherboards, etwa das für
den Threadripper Pro haben "resize bar" implementiert,
das Nividia Grafikkarten den Direktzugriff auf den
Arbeitsspeicher gestattet.

Ist zwar auch nur ne "Krücke", verschnellert die Sache aber schon.

mfg

von Christoph M. (mchris)


Lesenswert?

Der nächste Schritt nach der im Eingangspost-Video gezeigten NVidia H100 
scheint es auch schon zu geben.
Die NVidia H100 verwendet die Hopper-Architektur und die neueren 
Beschleuniger GB200 die Blackwell-Architektur (soweit ich das verstehe).
Interessant ist unter anderem, dass immer kleinere Datentypen 
unterstützt werden. Blackwell unterstützt z.B. FP6 und FP4. Von CUDA 
aber werden nur die 8 bittigen Datentypen unterstützt.

Hier mal ein wenig Übersicht, was eine Hopper-Architektur darstellt:

https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-depth/

von Anselm 6. (anselm68)


Lesenswert?

Das Nvidia KI Programm hat die Modelle mit 4-Bit, scheint ja zu laufen.

Btt: letztes Jahr musste ein neuer Rechner her: AMD7950x3D - RTX4090 - 
64GB Ram sowie eine nvme SSD.
Totaler Overkill, ausser in KI Spielreien nie auch nur annähernd 
genutzt.

Anselm

von Michael B. (laberkopp)


Lesenswert?

Christoph M. schrieb:
> Jetzt, im Zeitalter der KI scheint mir der nächste große Schritt
> bezüglich der Hardware anzustehen

Nö.

KI braucht Daten, die hast du zu Hause nicht

(in einer Firma sieht es vielleicht anders aus, oder einem 
selbstfahrenden Auto)

Dein Rechner muss keine KI laufen lassen können, du brauchst auch keine 
Google Suchmaschine zu hosten.

Du bedienst dich deren Service im Netz.

Heutige Office Rechner werden gern mit Hardware von 2011 verkauft, weil 
das reicht.

Speed bekommst du durch eine schnelle SSD.

Nur Gamer (oder Leute die ebensolche Graphik brauchen) benötigen 
Rechnerboliden.

von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> KI braucht Daten, die hast du zu Hause nicht

Jene eine spezielle Spielart von KI, die manche hier im Thread 
irrtümlich für die ganze KI-Welt halten, tut dies. Um die geht es im 
Thread aber nicht.

Tatsächlich geht es um lokale Rechenleistung für das, was immer die Welt 
mit Recht oder Unrecht (*) unter dem Begriff AI/KI subsummiert. Das kann 
auch Photo-/Videooptimierung auf dem Smartphone sein, wofür Google schon 
seit ein paar Jahren auf seinen Tensor-Prozessoren eine TPU eingerichtet 
hat. Und nun eben AMD und Intel mit den NPUs für Laptop-Prozessoren und 
Desktops ohne separater GPU.

*: Streit darüber, ob das etwas mit "echter" KI zu tun hat, ist müssig. 
Die ganze Welt nennt es so, AI/KI ist einfach nur ein Name.

: Bearbeitet durch User
von Christoph M. (mchris)


Lesenswert?

Im Moment scheinen recht viele unterschiedliche KI-Beschleuniger 
Architekturen zu entstehen. Vor kurzem wurde hier das KI-Shield für den 
Raspi vorgestellt:

https://www.raspberrypi.com/news/raspberry-pi-ai-hat/

Ich würden dessen Architektur gerne mit den Tensorcores der 
NVidia-Karten vergleichen, aber leider sind tiefergreifende 
Informationen auf der Hailo-Seite nicht zu finden (vielleicht hat hier 
jemand mehr Glück):
https://hailo.ai/de/products/technology/
https://hailo.ai/de/blog/how-software-can-streamline-customer-experience-in-edge-ai/

: Bearbeitet durch User
von Re D. (re_d228)


Lesenswert?

Michael B. schrieb:
> Heutige Office Rechner werden gern mit Hardware von 2011 verkauft, weil
> das reicht.

Einfach nur dummes Gelaber. Kein Hersteller hat HW von 2011 auf den 
Lager, die er verkaufen könnte.

Beitrag #7764549 wurde vom Autor gelöscht.
von Michael B. (laberkopp)


Lesenswert?

Re D. schrieb:
> Michael B. schrieb:
>> Heutige Office Rechner werden gern mit Hardware von 2011 verkauft, weil
>> das reicht.
>
> Einfach nur dummes Gelaber. Kein Hersteller hat HW von 2011 auf den
> Lager, die er verkaufen könnte.

Nimm dir einfach mal einen neuen als günstigen Office PC beworbenes 
Komplettangebot her, also kein refurbished oder used.

https://www.ankermann.com/de/pc-systeme/business-office-work-v1-intel-core-i5-6500-16gb-ram-1tb-ssd-windows-11-wlan-ms-office-2024_4260409324695.html

i5-6500 ist von 2015, das Fujitsu ESPRIMO P557 D3500-A11 GS 1 Mainboard 
D3400/D3410 von 10/2015 (19.10.2015).

Der auch von 2015 
https://www.amazon.de/Business-Multimedia-Intel%C2%AECeleron%C2%AE-2x2-60GHz-7007/dp/B0B3DTB3GG 
wie
https://www.intel.de/content/www/de/de/products/sku/90738/intel-celeron-processor-g3900t-2m-cache-2-60-ghz/specifications.html 
zeigt.

https://www.csl-computer.com/express-pc-edition/pc-csl-express-pc-1002-ryzen-3.html 
ist von 2019 wie auch der 
https://www.computerwerk.de/office-pc/office-pc-sudbury-a::406.html der 
auch https://www.kaufland.de/product/465990359/

Alles steinaltes Zeug.

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Christoph, der Threadstarter, hat ein Quadcore Gerät von ~2016. Da kommt 
die Ablösung durch Quadcore "Neugerät" von 2015 sicher gut. :)

: Bearbeitet durch User
von ●Des|ntegrator ●. (Firma: FULL PALATINSK) (desinfector) Benutzerseite


Lesenswert?

Christoph M. schrieb:
> Ich verwende schon seit ca. 8 Jahren System mit Quadcore und 16GB und es
> gab keinerlei Veranlassung, diese System aufzurüsten, da es sich super
> damit arbeiten lässt.

Mein PC ist von 2014.
Mit nem gigabyte "ultra Durable" Mobo.
auch Quadcore, damals auch 16GB aber nachdem ein RAM-Riegel
den Geist aufgegeben hat, nur noch 8. läuft auch.
Und mit Wechsel auf SSD sogar besser als es noch mit HDD und 16GB RAM 
war.

Eine KI brauche ich nicht lokal.

von (prx) A. K. (prx)


Lesenswert?

●Des|ntegrator ●. schrieb:
> Mein PC ist von 2014.

Ich habe auch noch einen ollen Laptop von 2010, mit i5-540M, Intels 
erster Architektur dieser Reihe. Auch der ist für einfache Sachen noch 
nutzbar. Den Unterschied spürt man indes bei Microsofts Updates. Damit 
hat die arme Kiste trotz SSD ziemlich zu kämpfen.

Aber irgendwann kann man solche Altlasten auch mal ausmustern. Der steht 
nur noch rum, weil er noch physische Seriell/Parallel am Dock hat. Und 
sich prima als Unterlage für den neueren Laptop eignet.

PS: Der Akku hält noch so 1,5h wenn mit Updates beschäftigt, 4h idle.
Und die SSD ist von 2011, mit 98% Restlebensdauer.

: Bearbeitet durch User
von Michael B. (laberkopp)


Lesenswert?

(prx) A. K. schrieb:
> Aber irgendwann kann man solche Altlasten auch mal ausmustern

Warum sollte man ?

Wenn da die alte Software drauf läuft, passt der doch.

Mein CNC Laptop für Mach3 läuft unter WinXP.

Ein Win98 Laptop benutzt 16 bit Windows Software, von Kamera über 
Chipprogrammierung, warum sollte man den ersetzen ?

Die dürfen halt nie mit moderner Bloatware in Berührung kommen und nicht 
mehr ins Internet.

von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> Warum sollte man ?

Gut, ich hätte "kann ICH" schreiben sollen. Weil hier zu viel Altgerät 
rumsteht, das effektiv nicht mehr genutzt wird. "Könnte ich mal 
brauchen" heisst nicht, dass ich es in den letzten Jahren gebraucht 
habe. Für meinen Alltag taugt er nicht mehr.

> Die dürfen halt nie mit moderner Bloatware in Berührung kommen und nicht
> mehr ins Internet.

Dürfte der sogar noch eine Weile, weil Win10. Linux hatte ich mal 
probiert, funktionierte aber nicht so richtig.

: Bearbeitet durch User
von Christoph M. (mchris)


Angehängte Dateien:

Lesenswert?

Im Moment ist es relativ schwierig, etwas Ordnung in den Wust der 
KI-Beschleuniger zu bringen.
Ich versuche es mal mit den NVIDIA Graphikarten. Seit der Einführung der 
Volta-Architektur 2017 gibt es die für die KI wichigen Tensor-Cöre :-p
Die kleine RTX4060 mit 242 AI TOPs kriegt man für knapp 550€.

Einen Laptop mit kleiner AI-Graphikkarte liegt wohl so bei knapp 1000€ :

Lenovo LOQ 16 82XW008AGE
Produktübersicht: 16 Zoll WQXGA Intel Core i7-13620H 16 GB RAM 1.000 GB 
SSD-Speicher NVIDIA GeForce RTX 4060 Windows 11 Home Akkulaufzeit 8 h 
2,6 kg P

: Bearbeitet durch User
von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:
> Im Moment ist es relativ schwierig, etwas Ordnung in den Wust der
> KI-Beschleuniger zu bringen.

Bei den GPUs hat man für KI im wesentlichen die Auswahl zwischen Nvidia 
und Nvidia.

> Ich versuche es mal mit den NVIDIA Graphikarten. Seit der Einführung der
> Volta-Architektur 2017 gibt es die für die KI wichigen Tensor-Cöre :-p
> Die kleine RTX4060 mit 242 AI TOPs kriegt man für knapp 550€.

Also mein Google erzählt mir was von 300€

> Einen Laptop mit kleiner AI-Graphikkarte liegt wohl so bei knapp 1000€ :

> Lenovo LOQ 16 82XW008AGE
> Produktübersicht: 16 Zoll WQXGA Intel Core i7-13620H 16 GB RAM 1.000 GB
> SSD-Speicher NVIDIA GeForce RTX 4060 Windows 11 Home Akkulaufzeit 8 h
> 2,6 kg P

Ich konnte auf die Schnelle nicht herausfinden, ob es sich um eine 
normale  (Desktop) RTX4060 oder um die Mobile Version handelt.
https://www.nvidia.com/de-de/geforce/laptops/compare/
Die Laptop GPUs sind wohl vom Speicher her und insbesondere von der 
Leistungsaufnahme begrenzt. Für weitere Vergleiche bin ich gerade zu 
faul.
https://www.nvidia.com/de-de/geforce/laptops/compare/
Die RTX4050 scheint es nur in einer Mobile-Variante zu geben.

von Christoph M. (mchris)


Lesenswert?

Markus K.
>https://www.nvidia.com/de-de/geforce/laptops/compare/
>Die Laptop GPUs sind wohl vom Speicher her und insbesondere von der
>Leistungsaufnahme begrenzt.

Da wäre dann die Frage, ob die Graphikkarte die volle Leistung benötigt, 
wenn keine Graphikfunktionen sonder nur die für die AI-Berechnung 
notwendigen benutzt werden.

von ●Des|ntegrator ●. (Firma: FULL PALATINSK) (desinfector) Benutzerseite


Lesenswert?

Christoph M. schrieb:
> Da wäre dann die Frage, ob die Graphikkarte die volle Leistung benötigt,
> wenn keine Graphikfunktionen sonder nur die für die AI-Berechnung
> notwendigen benutzt werden.

Wenn man die Bildschirm-Auflösung auf super-super,
immer am oberen möglichen "Anschlag" einstellt
und deswegen die Schriftart grösser gewählt werden muss,
wirkt das schon etwas kontraproduktiv.

von (prx) A. K. (prx)


Lesenswert?

Die Bildschirmauflösung ist irrelevant, wenn die GPU ihre 3D Fähigkeiten 
nicht ausspielen muss.

von Andreas B. (bitverdreher)


Lesenswert?

●Des|ntegrator ●. schrieb:
> Wenn man die Bildschirm-Auflösung auf super-super,
> immer am oberen möglichen "Anschlag" einstellt
> und deswegen die Schriftart grösser gewählt werden muss,
> wirkt das schon etwas kontraproduktiv.

Na ja, für CAD lasse ich das nicht unbedingt gelten.

Zum Thema:
KI ist für mich kein Grund um auf einen neuen PC umzusteigen. Bei mir 
war es letztes Jahr die (schon länger aufkommenden) Mini PCs.
Keine klobigen Kästen mehr unter dem Schreibtisch und schnell (jetzt 
Geekom IT13, min 3x so schnell wie mein alter I5-2500) obendrein.
Braucht man das? Nein, aber man will es haben. ;-)

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Andreas B. schrieb:
> wie mein alter I5-2500) obendrein.
> Braucht man das? Nein, aber man will es haben. ;-)

Meinem alten i5-2500 SFF fehlte die Fähigkeit, ohne separate GPU 3 
Monitore zu betreiben, davon einer mit 2,5k. Auch ein Argument. Der neue 
Zwerg kann mit 4 sogar mehr als jene 3 Monitore, die dessen Hersteller 
bewirbt. :)

: Bearbeitet durch User
von Harald K. (kirnbichler)


Lesenswert?

●Des|ntegrator ●. schrieb:
> Wenn man die Bildschirm-Auflösung auf super-super,
> immer am oberen möglichen "Anschlag" einstellt

Man stellt die Bildschirmauflösung auf den vom Monitor vorgegebenen Wert 
ein. Der hat eine native Auflösung, die nutzt man.

Alles andere ist Mist, unscharfer Matsch, der den schlecht sehenden 
Zeitgenossen nicht hilft, denn auch mit im Supermarkt am Drängelregal 
gekaufter Plaste-"Sehhilfe" wird der unscharfe Matsch nicht schärfer.

von Re D. (re_d228)


Lesenswert?

Michael B. schrieb:
> Re D. schrieb:
>> Einfach nur dummes Gelaber. Kein Hersteller hat HW von 2011 auf den
>> Lager, die er verkaufen könnte.
>
> Nimm dir einfach mal einen neuen als günstigen Office PC beworbenes
> Komplettangebot her, also kein refurbished oder used.
>
> i5-6500 ist von 2015, das Fujitsu ESPRIMO P557 D3500-A11 GS 1 Mainboard
> D3400/D3410 von 10/2015 (19.10.2015).
> Der auch von 2015
> ist von 2019 wie auch der
> Alles steinaltes Zeug.

Da hast du den ältesten Müll im Internet gesucht und doch nichts von 
2011 gefunden. q.e.d.

von (prx) A. K. (prx)


Lesenswert?

Harald K. schrieb:
> Alles andere ist Mist, unscharfer Matsch, der den schlecht sehenden
> Zeitgenossen nicht hilft

Doch, denen schon. Die Adleraugen kriegen vielleicht Probleme.

Wenn vor mir den Zufällen der Beschaffungslage folgend ein 2,5k und ein 
4k Monitor gleicher Grösse stehen, mit Desktoperweiterung, dann laufen 
eben beide mit 2,5k. Mit unskaliertem 4k Inhalt könnte ich sowieso 
nichts (mehr) anfangen. Der 4k-Schirm kriegt also 2,5k Signal, skaliert 
selbst, aber erkennen kann ich den Unterschied zwischen 2,5k echt und 
2,5k skaliert nur mit der Lupe.

: Bearbeitet durch User
von Michael B. (laberkopp)


Lesenswert?

Andreas B. schrieb:
> Nein, aber man will es haben.

Sicher nicht.

Ich kaufe einen PC und keinen Laptop, damit ich da was einbauen kann, 
möglichst noch vom alten PC übernehmen kann, wie bei mir DVD-Writer, 
Kartenlesegerät, Schnittstellenkarte, die Festplatten des alten.

Und bitte langsam leise laufende Lüfter und nicht die 40mm 
Raketentriebwerke.

von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> Ich kaufe einen PC und keinen Laptop, damit ich da was einbauen kann

Ein Mini-PC ist ein PC, kein Laptop. Auch wenn die Technik von Laptops 
stammen mag.

> wie bei mir DVD-Writer, Kartenlesegerät, Schnittstellenkarte,

Sowas hängt heute fast immer an USB, wenn nicht noch aus Grossvaters 
Zeiten übrig geblieben und nun auf der Suche nach ISA/PCI-Slots.

> die Festplatten des alten.

Um den Kram runter zu kopieren? Über Netz oder USB-Disk.

: Bearbeitet durch User
von Andreas B. (bitverdreher)


Lesenswert?

(prx) A. K. schrieb:
>> wie bei mir DVD-Writer, Kartenlesegerät, Schnittstellenkarte,
>
> Sowas hängt heute fast immer an USB, wenn nicht noch aus Grossvaters
> Zeiten übrig geblieben und nun auf der Suche nach ISA/PCI-Slots.

+1
Genau das wollte ich auch schreiben. Die ganzen ISA, PCI und sonstwie 
Karten sind schon lange auf den Müll gewandert.
Die einzige Karten, die der alte PC noch gesehen hatte, war eine 
Graphikkarte die 4k macht und eine ordentliche Audiokarte. Das haben 
gute Mini PCs schon von Haus aus.
Einen Laptop habe ich natürlich auch, aber der nimmt mir auf dem 
Schreibtisch zu viel Platz weg (jedenfalls wenn man einen zusätzlichen 
ordentlichen Monitor hat).

von Michael B. (laberkopp)


Lesenswert?

(prx) A. K. schrieb:
> Um den Kram runter zu kopieren

Und nicht NOCH eine neue Backup-Platte kaufen zu müssen, die tunlichst 
mechanisch sein sollte.

Aber ja, zum rüberkopieren auch nutzlich, dann muss man nicht alles 
sofort machen sondern macht bei Bedarf (die Hälfte bedarf niemehr)

Andreas B. schrieb:
> Einen Laptop habe ich natürlich auch, aber der nimmt mir auf dem
> Schreibtisch zu viel Platz weg (jedenfalls wenn man einen zusätzlichen
> ordentlichen Monitor hat).

Richtig, damit man mit einem Laptop vernünftig arbeiten kann, schließt 
man einen Bildschirm, eine Maus und eine Tastatur an, einen Drucker 
einen Scanner und vielleicht sogar ein Graphiktablett. Wozu dann ein 
nicht erweiterungsfähiger Laptop mit gebremstem Mobile-Prozessor und 
Akku der in 5 Jahren kaputt ist ?

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> Und nicht NOCH eine neue Backup-Platte kaufen zu müssen, die tunlichst
> mechanisch sein sollte.

Backup-Disk ist im PC eingebaut => single point of failure.

: Bearbeitet durch User
von Ob S. (Firma: 1984now) (observer)


Lesenswert?

Sherlock 🕵🏽‍♂️ schrieb:

> Allerdings stecken die aktuell verbauten "KI Chips" mit Sicherheit in
> den Kinderschuhen und werden sehr schnell obsolet. Ich erinnere an die
> Historie der Grafikkarten.

Ganz genau. So geil die Dinger zu ihrer jeweiligen Zeit auch waren: die 
Halbwertszeit, bis die jeweils nächste Generation bezahlbar wurde, war 
am Anfang extrem kurz.

Mir fällen da z.B. die ersten 3D-Grafikbeschleuniger ein, Voodoo und 
Voodoo2, das waren damals noch drastisch teuere Zusatzkarten zur 
eigentlichen Grafikkarte.

Wie lange waren die Dinger aktuell? Insgesamt wohl keine 4 Jahre, dann 
wanderte die ganze Mimik in die Grafikkarten selber.

Aber auch dort war in der frühen Phase im Prinzip nach zwei Jahren jede 
Graka hoffnungslos veraltet.

Neue Grafikchip-Generationen gab's weiterhin mindestens alle zwei Jahre. 
Aber der Leistungsvorteil zur jeweiligen Vorgängergeneration wurde immer 
geringer.

Ganz ähnlich lief das bei den CPUs ab. Und auch ganz allgemein bei 
Hardware. Am Anfang einer Technologie steigt die Leistung noch in großen 
Schritten, später wird das immer gemächlicher.

von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> Und bitte langsam leise laufende Lüfter und nicht die 40mm
> Raketentriebwerke.

Arg viel leiser als mein Mini geht nur noch wenn lüfterlos.

von Andreas B. (bitverdreher)


Lesenswert?

(prx) A. K. schrieb:
> Michael B. schrieb:
>> Und bitte langsam leise laufende Lüfter und nicht die 40mm
>> Raketentriebwerke.
>
> Arg viel leiser als mein Mini geht nur noch wenn lüfterlos.

Davon abgesehen, daß die kleinen Lüfter ja nur noch ca. 30W im 
Normalbetrieb (12W Idle, alles mit ext. NT gemessen, also sicher 
weniger) wegschaufeln müssen.
Da war mein alter Desktop PC deutlich lauter.

von (prx) A. K. (prx)


Angehängte Dateien:

Lesenswert?

Andreas B. schrieb:
> Davon abgesehen, daß die kleinen Lüfter ja nur noch ca. 30W im
> Normalbetrieb (12W Idle, alles mit ext. NT gemessen, also sicher
> weniger) wegschaufeln müssen.

So klein sind solche Lüfter nicht einmal. Wobei Geekom auch bei der 
Kühlung auf Technik setzt, wie man sie in Laptops nutzt: einen 
Radiallüfter.

Bei AWOW kühlt ein ganz gewöhnlicher Axiallüfter den Prozessor, wie er 
sich als Gehäuselüfter in jedem PC befindet. Und der passt gerade so 
unter den Deckel des Gehäuses. Unterhalb der Platine ist ein zweiter 
kleinerer Axiallüfter für SSD und RAM, der aber mit sehr geringem 
Luftumsatz läuft und nicht nennenswert zur Geräuschkulisse beträgt.

Begrenze ich die Gesamtleistung auf 80W, kommt der Lüfter nie auf volle 
Touren und bleibt auch in Flugsimulator und Hochlast-Benchmarks 
unauffällig. Nur bei unbegrenzten 100W kriegt man ihn deutlich zu hören.

: Bearbeitet durch User
von Christoph M. (mchris)


Lesenswert?

Übrigens: eine erste Erkenntnis aus diesem Thread ..
Wie man in dieser Tabelle sehen kann
Beitrag "Re: PC: das Zeitalter neuer Hardware"
steigt KI-Leistung der Grafikkarte mit ihrer Fläche bzw. deren Preis.
Im Gegensatz zu den PC-Prozessoren, die irgend wann bei ca. 2.5GHz 
stecken geblieben sind und danach eine wenig der Corezahl gespielt haben 
und bei denen man gegen den doppelten Preise eine Performance-Steigerung 
eher im Prozentbereich erhält, geht die KI-Leistung quasi "linear" mit 
der Fläche und da gibt es quasi keine Begrenzung.

von (prx) A. K. (prx)


Lesenswert?

Klar, aber das ist völlig normal. Der gleiche Effekt hat schon früher 
dazu geführt, dass man 3D-Spiele mit GPUs statt CPUs rechnet.

Auch beim CPUs selbst dürfte die KI-Leistung mit der Fläche steigen, 
weil die Aufgabe sehr gut parallelisierbar ist und mehr Cores deshalb 
mehr Leistung bedeuten. Etwa bei AMDs EPYCs.

Ist bloss nicht sinnvoll, weil eine auf bestimmte Aufgaben 
spezialisierte GPU dabei mehr Rechenleistung pro Fläche bringt, und bei 
Prozessoren mit interner GPU eine noch mehr spezialisierte NPU noch mehr 
Rechenleistung pro Fläche bringt. Und genau so sind aktuelle Laptop-CPUs 
deshalb aufgebaut. Als Kompromiss aus etwas CPU, etwas GPU und etwas 
NPU.

Man vergleicht dabei eine bestimmte sehr gut mit der Anzahl 
Reicheneinheiten skalierende Anwendung mit normalen Anwendungen.

: Bearbeitet durch User
von Christoph M. (mchris)


Lesenswert?

>Auch beim CPUs selbst dürfte die KI-Leistung mit der Fläche steigen,
>weil die Aufgabe sehr gut parallelisierbar ist und mehr Cores deshalb
>mehr Leistung bedeuten. Etwa bei AMDs EPYCs.

Das sehe ich auch so: Die Algorithmik geht in die Breite und parallele 
Strukturen lassen sich gut auf die Siliziumfläche verteilen.

>Ist bloss nicht sinnvoll, weil eine auf bestimmte Aufgaben
>spezialisierte GPU dabei mehr Rechenleistung pro Fläche bringt, und bei
>Prozessoren mit interner GPU eine noch mehr spezialisierte NPU noch mehr
>Rechenleistung pro Fläche bringt. Und genau so sind aktuelle Laptop-CPUs
>deshalb aufgebaut. Als Kompromiss aus etwas CPU, etwas GPU und etwas
>NPU.

An der Stelle wäre es interessant, die Beschleunigerhardware in Form von 
GPUs mit den in die CPUs eingebauten NPUs zu vergleichen. Ich denke, da 
kommt es wirklich auf die Detailimplementierung an und vieles ist im 
Fluß.

Für mich haben sich durch die Untersuchung der NVIDIA bis jetzt 
folgende, wesentliche Optimierungsstrategien herausgestellt:

- Änderungen zu anderen und kleineren Datenformaten (BF16,FP6,FP4 u.ä.) 
und der damit einhergehenden Hardwareersparniss
- gemischte Verarbeitung von Formaten (breitere Akkumulatoren)
- Komprimierungsverfahren zum Speicherinterface für Sparce-Matrizen

Hier wäre eine Untersuchung der NPUs interessant, in wie weit dort an 
diesen Eigenschaften gedreht wird.

von (prx) A. K. (prx)


Lesenswert?

Christoph M. schrieb:
> An der Stelle wäre es interessant, die Beschleunigerhardware in Form von
> GPUs mit den in die CPUs eingebauten NPUs zu vergleichen.

AMDs NPU ist ebenso wenig Teil der CPU wie die GPU, kein Teil der Cores. 
Sowohl GPU wie NPU sind klar abgegrenzte Strukturen auf dem Die. 
Vielleicht kann man die NPU strukturell als eine Art zweite höher 
spezialisierte GPU betrachten.

Kommentierter Die-Shot von Strix Point, AMDs aktuellem Laptop-King:
https://www.techpowerup.com/325035/amd-strix-point-silicon-pictured-and-annotated

Seit Win24H2 wird die NPU auch im Windows Task Manager angezeigt - aber 
erst, wenn man AMDs eigentlich mit der GPU assoziiertes Treiberpaket 
Adrenalin installiert.

: Bearbeitet durch User
von Philipp K. (philipp_k59)


Lesenswert?

Christoph M. schrieb:
> Wie würdet ihr einen aktuellen Rechner auslegen?

Kommt ja drauf an wofür man den hat.

Ich bin zum Beispiel froh wenn ein Fremd OS flüssig Vollbild in der VM 
läuft und aktuelle Spiele spielen kann. Also der nutzen steuert das 
upgraden der Hardware.

Meine CPU Upgrade ich so alle 6 Jahre, wie jetzt erst vom 9600(6kern) 
auf 14600(6+8 Kerne).

Die Grafikkarte muss ich zwischendurch nach 3-4 Jahren Upgraden.

Das ist aber alles im unteren Mittelsegment, ich hole meist eine graka 
um die 350€, Mainboard+CPU+RAM um die 400€.

Ich kenne aber auch Leute aus der "ich habe und kaufe immer das Beste" 
Community.

1500€ im 2 Jahres Rhythmus sind da keine Seltenheit. Das sehe ich selbst 
als Geldverschwendung und kaufe Preis/Leistung zum richtigen Zeitpunkt.

von (prx) A. K. (prx)


Lesenswert?

Philipp K. schrieb:
> Ich bin zum Beispiel froh wenn ein Fremd OS flüssig Vollbild in der VM
> läuft und aktuelle Spiele spielen kann.

Ich hoffe doch, dass Du entgegen der Grammatik die aktuellen Spiele 
nicht bevorzugt in der VM laufen lässt. Das wär bei anspruchsvolleren 
Spielen eine harte Anforderung. :)

von (prx) A. K. (prx)


Lesenswert?

Philipp K. schrieb:
> Das ist aber alles im unteren Mittelsegment, ich hole meist eine graka
> um die 350€, Mainboard+CPU+RAM um die 400€.

MB+CPU+RAM+GPU selbst zusammenstellen war einmal bei mir. So bis vor ca 
15 Jahren, und auch da wars nur noch aufgrund einer Spezialaufgabe, die 
es nicht fertig gab. Hat auch den Vorteil, postwendend zurück schicken 
zu können, wenn laut brummender Lenovo, statt sich selber in den Arsch 
beissen zu müssen.

Das hat auch was mit den Ansprüchen zu tun. Meine waren früher viel 
höher als heute. Das mittlere Alter meiner Geräte steigt, sowohl 
deshalb, als auch weil längst eine gewisse Sättigung der 
Leistungsfähigkeit der Geräte erreicht ist. Das war vor 20 Jahren noch 
anders.

: Bearbeitet durch User
von (prx) A. K. (prx)


Lesenswert?

Das ist übrigens in der Firma nicht anders. Wäre da nicht Microsofts 
teure "Verschrottungsprämie" gewesen, aka Windows 11 PC-Anforderungen, 
und hätte nicht Corona die Desktops durch Homeoffice-fähige Laptops 
ersetzt, normale Büro-PCs würden 10 Jahre alt.

: Bearbeitet durch User
von Le X. (lex_91)


Lesenswert?

(prx) A. K. schrieb:
> Das hat auch was mit den Ansprüchen zu tun. Meine waren früher viel
> höher als heute.

Das beobachte ich bei mir auch.
Realistischerweise muss ich aber sagen, ich brauchte früher eigentlich 
auch nicht viel Leistung, ich wollte sie.

Weil, man ist ja schließlich Entwickler und Technik-Enthusiast, man 
kennt sich ja aus mit PCs, man macht schließlich nicht so 0815-Zeugs wie 
der gemeine Pöbel.
Deswegen braucht man auch einen möglichst dicken PC mit handverlesenen 
Komponenten.
So war es nur konsequent dass ich noch viele Jahre im neuen Jahrtausend 
am BigTower hing wärend sogar Gaming-PCs mittlerweile als Midi 
daherkamen.
Man muss ja schließlich zeigen dass man über diesen Office-0815-Zeugs 
steht.

Nun ist seit vielen Jahrn ein NUC mit M.2-Platte und irgendner 
i5-mobile-CPU für in Summe 300€ mein Hauptrechner.
Und der langweilt sich noch die meiste Zeit.
Ein zweiter NUC mit i3 werkelt als "Server" im Keller, da laufen grad so 
8 VMs, und auch der langweilt sich.

von Christoph M. (mchris)


Lesenswert?

Le X. (lex_91)
>Weil, man ist ja schließlich Entwickler und Technik-Enthusiast, man
>kennt sich ja aus mit PCs, man macht schließlich nicht so 0815-Zeugs wie
>der gemeine Pöbel.

Der entscheidende Punkt und das ist auch der Grund für diesen Thread 
(wie auch schon A.K. mehrfach bemerkte), ist ein Paradigmenwechsel in 
der Technik.
Im Moment brauche ich für die Softwareerstellung keinen neueren Rechner, 
als meine 8 Jahre alten. Sie reichen auch für komplexe Software, 
Signalverarbeitung und meine Anforderungen der Modellbildung.
Allerdings findet ja gerade die cambrische KI-Explosion statt und die 
Technologieentwicklung ist endlich wieder so spannend wie die 
Computerentwicklung in den 90ziger Jahren. Damit zu spielen und mich 
einzuarbeiten macht mir enorm Freude :-)
Wenn man mit den Modellen von Hugging-Face
https://huggingface.co/
spielen will, muss man wohl langsam die Hardware aufrüsten.

von Michael B. (laberkopp)


Lesenswert?

Andreas B. schrieb:
> Davon abgesehen, daß die kleinen Lüfter ja nur noch ca. 30W im
> Normalbetrieb (12W Idle, alles mit ext. NT gemessen, also sicher
> weniger) wegschaufeln müssen.
> Da war mein alter Desktop PC deutlich lauter

Dann hast du halt von der Rechenleistung her ein Smartphone und keinen 
PC, die liegen eher bei 125W CPU + 125W GPU.

von (prx) A. K. (prx)


Lesenswert?

Michael B. schrieb:
> Dann hast du halt von der Rechenleistung her ein Smartphone und keinen
> PC, die liegen eher bei 125W CPU + 125W GPU.

Du verwechselst Rechenleistung mit Wärmeleistung. Wie oben schon 
berichtet, übersetzen sich am oberen Rand der Leistungsfähigkeit 10% 
mehr Rechenleistung in 100% mehr Wärmeleistung, auf den Core bezogen.

Sein Geekom Mini IT13 liegt in den Benchmarks ohne externer GPU in etwa 
gleichauf mit meinem AWOW HA7. Meiner geht ggf bis zu den 100W 
Leistungsaufnahme, die das Netzteil offiziell liefert. Aber nur wenns 
sein muss, bei Games, Benchmarks und Burn-In Last. Normalerweise sind es 
auch da so Grössenordnung 30 W.

Schon vor 10 Jahren hatten Normal-PCs von Non-Gamern 65 W CPUs drin.

: Bearbeitet durch User
von Andreas B. (bitverdreher)


Lesenswert?

Michael B. schrieb:
> Dann hast du halt von der Rechenleistung her ein Smartphone und keinen
> PC, die liegen eher bei 125W CPU + 125W GPU.

Du rechnest die Rechenleistung also in Stromverbrauch. Hast Du aus 
Deiner Höhle mal die aktuellen CPU, MB, SSD und RAM Generationen 
angeschaut?
Nochmal: das Ding ist gefühlt min 3x schneller als mein 10J alter i5 
2500K. Da werkelt ein mobile i9 drin. SSD Transferate >5GB/s, Rest hier:
https://browser.geekbench.com/v6/cpu/3233383
Ja, ein Desktop i9 ist nochmal um einiges schneller, aber sowas braucht 
man nur zum Zocken.

von Christoph M. (mchris)


Lesenswert?

Mir ist noch eine lustige Aufgabe für's Mikrocontrollernetz eingefallen:
Wie viel AI-GOPS kann ein RP2350 maximal?

von Oliver S. (oliverso)


Lesenswert?

Andreas B. schrieb:
> Da werkelt ein mobile i9 drin.

Bei mir läuft ein NUC 8i5 als Server. Der i5 der 8. Generation (4/8 
Kerne/Threads) da drin hat 28W TDP, und die ganze Kiste braucht im 
Leerlauf weniger als ein Raspi4B.

Die Zeiten, in denen ein schneller Rechner die Heizleistung eines 
Toasters hatte, sind wirklich lange vorbei - Grafikkartenmonster mal 
ausgenommen.

Oliver

von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:
> Mir ist noch eine lustige Aufgabe für's Mikrocontrollernetz eingefallen:
> Wie viel AI-GOPS kann ein RP2350 maximal?

Mit einer Mischung aus geraten und Halbwissen: 1,2GOPS
2 Kerne mit je 150MHz, die können Dual MACs in einem Takt, also 4 OPS in 
einem Takt. Also 2x150MHz*4  = 1200MOPS.
Unter der Annahme, dass man die Daten schnell genug herbekommt. Ein 
Cortex-M7 kann das, bei einem M33 bin ich zu faul das jetzt zu 
recherchieren.

Es gibt heutzutage aber ja eine Reihe von SoCs, die eine NPU mit z.B. 
1-6TOPS mitbringen, z.B. NXP i.MX8MP oder i.MX95, Rockchip RV1126 und 
RK3588 und noch viele mehr.

von Christoph M. (mchris)


Lesenswert?

Christoph M. schrieb:
>> Mir ist noch eine lustige Aufgabe für's Mikrocontrollernetz eingefallen:
>> Wie viel AI-GOPS kann ein RP2350 maximal?

Markus K.
>Mit einer Mischung aus geraten und Halbwissen: 1,2GOPS
>2 Kerne mit je 150MHz, die können Dual MACs in einem Takt, also 4 OPS in
>einem Takt. Also 2x150MHz*4  = 1200MOPS.

Ja, so habe ich das grob auch gemacht. Allerdings kommen ja zu den 
reinen MAC-Operationen auch noch die Aktiverungsfunktionen, der 
Datentransport oder das Neuladen der Gewichte dazu. Aber ich vermute, 
dass auch bei den sonstigen NPUs, TPUs und Grafikkarten solche Bremser 
in der Leistungsangabe unterschlagen werden.

Es gibt ja tatsächlich Leute, die Mikrocontroller für KI-Applikationen 
nutzen wollen.

Hier ist ein Benchmark, in dessen Liste sich der RP2040 befindet aber 
erstaunlich schlecht abschneidet:

https://eloquentarduino.github.io/2021/04/tinyml-benchmark-fully-connected-neural-networks/

Irgendwas scheint mir da faul zu sein. Vielleicht sind die KNNs in Float 
gerechnet.

von Christoph M. (mchris)


Lesenswert?

Hier gibt's noch einen Benchmark zwischen Raspberry-Pi, Jetson Nano und 
Google Coral:
https://qengineering.eu/deep-learning-with-raspberry-pi-and-alternatives.html

von Norbert (der_norbert)


Lesenswert?

Christoph M. schrieb:
> Irgendwas scheint mir da faul zu sein. Vielleicht sind die KNNs in Float
> gerechnet.

Na dann wird's mit dem RP2350 deutlich besser, der kann float in 
Hardware.

von Markus K. (markus-)


Lesenswert?

Christoph M. schrieb:
> Christoph M. schrieb:
>>> Mir ist noch eine lustige Aufgabe für's Mikrocontrollernetz eingefallen:
>>> Wie viel AI-GOPS kann ein RP2350 maximal?
>
> Markus K.
>>Mit einer Mischung aus geraten und Halbwissen: 1,2GOPS
>>2 Kerne mit je 150MHz, die können Dual MACs in einem Takt, also 4 OPS in
>>einem Takt. Also 2x150MHz*4  = 1200MOPS.
>
> Ja, so habe ich das grob auch gemacht. Allerdings kommen ja zu den
> reinen MAC-Operationen auch noch die Aktiverungsfunktionen, der
> Datentransport oder das Neuladen der Gewichte dazu. Aber ich vermute,
> dass auch bei den sonstigen NPUs, TPUs und Grafikkarten solche Bremser
> in der Leistungsangabe unterschlagen werden.

Die Aktivierungsfunktionen sind - je nach Netz - im Vergleich zu den 
MACs eher selten.
Datentransport: Die Cortex-M7 können einen Speicherzugriff parallel 
durchführen. Ich hatte gehofft, die M33 können das auch, weil sie ja 
relativ neu sind, aber sieht nicht so aus. Sie sind einfach zu klein 
dafür.
Bei NPU/TPU könnte ich mir schon vorstellen, dass die die 
Speicherzugriffe parallel machen können.
Man sieht aber selten Benchmarks, die aufschlüsseln, welcher Teil des 
Netzes wie lange braucht.

NXP gibt die imx8MP NPU mit 2,3TOPS an und die vom imx95 mit 1TOPS, aber 
sie sagen, dass beide etwa gleich schnell sind.

Rockchip gibt die NPU vom RK3588 mit 6TOPS an, aber das sind eigentlich 
3 NPUs mit je 2TOPS und von den 44 Operatoren, die die unterstützt 
können nur 10 Operatoren auf den 3 NPUs parallel laufen. Man kann die 3 
NPUs aber als  einzelne NPUs benutzen.

Naja, das alte Problem mit den Herstellerangaben.

> Es gibt ja tatsächlich Leute, die Mikrocontroller für KI-Applikationen
> nutzen wollen.

Ja, ST hat da Tooling dafür. Sie haben auch mal bei den STM32H7xx mit KI 
geworben.

von Christoph M. (mchris)


Angehängte Dateien:

Lesenswert?

Viele Prozessorhersteller versuchen, eigene NPUs in ihren Chips zu 
integrieren.
Diese nehmen noch relativ wenige Prozent der gesamten Chipfläche ein, 
wie man am Bild des M3-Die sehen kann.
Microsoft hat als neue Anforderung mindestens 40TOPs. Im Vergleich zur 
Grafikkarte sollen die NPUs aber wenig elektrische Leistung verbrauchen, 
da diese "always on" z.B. für Microsoft Recall, das im Hintergrund von 
den Screenshots Textbeschreibungen erstellt.

Alle möglichen TEC-Firmen entwickeln ihre eigenen KI-Chips, da NVIDIA 
ziemlich große Margen hat und sie diese auf Dauer nicht zahlen wollen.

Firmen, die eigene KI-Hardware entwickeln wollen:
Google
Apple
Tesla
Amazon
Meta
Microsoft
AMD
Intel (Ultracore,Lunar Lake, Alder Lake)
Qualcomm (Snapdragon X Elite, ARM, NPU Qualcomm Hexagon 45TOPS)

Interessant finde ich die Prozessoren Snapdragon. Gibt's die auf einem 
Raspi-artigen Board?

"Snapdragon X Elite features the industry-leading Qualcomm® AI Engine 
with an integrated Qualcomm® Hexagon™ NPU, delivering transformative 
experiences for creativity, video conferencing, security, and 
productivity assistants. Snapdragon X Elite is capable of running 
generative AI LLM models over 13B parameters on-device with blazing-fast 
speeds. It also includes the updated dual Micro NPU inside the ultra-low 
power Qualcomm® Sensing Hub for enhanced security, login experience and 
privacy, including the ability to wake the device when in sleep mode. 
Sensitive data can stay on your laptop for increased security with 
intelligence at the edge. The Qualcomm AI Engine supports Windows Studio 
Effects and many other AI-accelerated applications and experiences, to 
make possibilities endless. "

von (prx) A. K. (prx)


Lesenswert?

Christoph M. schrieb:
> Gibt's die auf einem Raspi-artigen Board?

Der Größe nach in etwa schon:
https://www.heise.de/news/ARM-Devkit-Mini-PC-mit-dem-staerksten-Snapdragon-X-Elite-9725953.html

: Bearbeitet durch User
von Christoph M. (mchris)


Angehängte Dateien:

Lesenswert?

Christoph M. schrieb:
> Gibt's die auf einem Raspi-artigen Board?
von (prx) A. K. (prx)
>>Der Größe nach in etwa schon:

Mit knapp 800Euro nicht ganz der Raspi-Preis und die Verfügbarkeit 
scheint problematisch.

von (prx) A. K. (prx)


Lesenswert?

Erwartest Du ausgerechnet von Qualcomm Ali-Preise?

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.