Computer Cluster mit 5 alten PC`S

Gast #4778350
Lesenswert?

Niklas L. schrieb:
> und jetzt kommt mir
> net damit das ich verückt bin das wieß ich selber.

ahaaa...

also du bist wahnsinnig verrückt und sooo....

krass ey, da bleibt mir glatt die Spucke weg!

Und du brauchst jetzt einen Rat von uns, weil du zwar voll krass 
abrocken möchtest, obwohl du keinerlei Ahnung von der Materie hast???

Geh doch mal teletubbies gucken, die scheinen in etwa auf deinem Niveau 
zu sein...
Gast #4778355
Lesenswert?

Hallo,
keine Sorge. ich bin ebenso verrückt wie Du. Jeder der anständig fragt, 
bekommt von mir auch eine anständige Antwort. Denn dumme Fragen gibt es 
nicht. Es gibt nur dumme Antworten.
Ein paar Fragen:
- Welches Betriebssystem?
- Sollen alle Rechner gemeinsam ins Internet gehen können?
- Sollen sich die Rechner gegenseitig "sehen" können?
- Sollen die Rechner gemeinsam externe Geräte wie Drucker, Festplatten 
usw. benutzen können?
- Hast Du schon einmal ein TCP/IP-Netzwerk aufgebaut, oder zumindest 
Ahnung davon?

MfG. Zeinerling
Gast #4778371
Lesenswert?

Dennis schrieb:
> obwohl du keinerlei Ahnung von der Materie hast???

Jeder hat doch mal mit der Netzwerktechnik angefangen. Menschen die das 
von Geburt an können, gibt es nicht.
Also bitte halte den Ball flach.

Wenn ich hier ein Moderator wäre, hätte ich Dich sofort aus diesem Forum 
entfernt.

MfG. Zeinerling
(Firma: matzetronics) #4778377
Lesenswert?

So aus dem Kopf fällt mir nur Linux ein, das sowas von Hause aus 
unterstützt. Hier ist ein Beispiel, wie es gehen kann:
http://www.tldp.org/HOWTO/pdf/Cluster-HOWTO.pdf

Du siehst allerdings, das der Autor schon etwas dickere und ein paar 
mehr Maschinen einsetzt, weil es sonst wenig Sinn hat, überhaupt damit 
anzufangen, denn die Kommunikation im Cluster kostet Rechenpower und ist 
ja fürs eigentliche Rechnen verloren. Aber zum Reinschnuppern taugts 
schon.
#4778390
Lesenswert?

Zeinerling als Gast schrieb:
> Dennis schrieb:
>> obwohl du keinerlei Ahnung von der Materie hast???
>
> Jeder hat doch mal mit der Netzwerktechnik angefangen. Menschen die das
> von Geburt an können, gibt es nicht.
> Also bitte halte den Ball flach.
>
> Wenn ich hier ein Moderator wäre, hätte ich Dich sofort aus diesem Forum
> entfernt.
>
> MfG. Zeinerling


Es soll auch Menschen geben die schon als Baby den Finger in der 
Steckdose hatten^^

Spass bei Seite, du brauchst einen Switch und fünf Patchkabel. Dann 
beschäftigst du dich mit den Stichworten HPC, Beowulf und 
Grid-Computing.
Persönliche Seite #4778406
Lesenswert?

älteres Debian 6.0-Image besorgen
darauf KestrelHPC
http://kestrelhpc.sourceforge.net/
aber in der älteren Version 2.x !

das hab sogar ich hinbekommen...

Und dann Software die verteilte Berechnungen unterstützt.
Ich hab damals was in C++ mit OpenMPI programmiert.
und LaPack/Linpack durchlaufen lassen
Drei Laptops mit PentiumM 1.6GHz haben zusammen 300MFlops geschafft, 
mies aber der bench lief durch :)

angeschlossen per FastEthernet 100MBit, is aber auch schon 5 Jahre++ her
Gast #4778407
Lesenswert?

Jan V. schrieb:
> Dann
> beschäftigst du dich mit den Stichworten HPC, Beowulf und
> Grid-Computing.

Hallo,
mache die Angelegenheit im Vorfeld doch bitte nicht mit diesen 
englischen Fachbegriffen unnötig kompliziert.
Um ein funktionierendes Netzwerk aufzubauen müssen die Gerätschaften 
doch zuerst über ein TCP/IP-Protokoll miteinander "reden".
Das eigentliche Clustering kommt später dazu.

MfG. Zeinerling
Gast #4778420
Lesenswert?

Zeinerling als Gast schrieb:
> Dennis schrieb:
>> obwohl du keinerlei Ahnung von der Materie hast???
>
> Jeder hat doch mal mit der Netzwerktechnik angefangen. Menschen die das
> von Geburt an können, gibt es nicht.
> Also bitte halte den Ball flach.
>
> Wenn ich hier ein Moderator wäre, hätte ich Dich sofort aus diesem Forum
> entfernt.
>
> MfG. Zeinerling

Gott sei Dank bist Du kein Moderator und wollen wir hoffen, daß es auch 
so bleibt.


Netzwerktechnik ist in den Basics wirklich einfach im Selbststudium zu 
erlernen und Clusterei... da gibts genug im Netz zu finden.
Der TO sollte also - wie eigentlich üblich - erst einmal seine 
Erkenntnisse präsentieren als nur "ich will, macht mir das es geht" 
(ohne auch nur irgendwie ersichtliche Erkenntnisse der Rächtschreibung) 
in die Welt hinauszuposaunen.

Also Zeinerlich - selber Ball flachhalten...

MiWi
#4778466
Lesenswert?

Niklas L. schrieb:
> ich werde balt 5 alte PC`s bekommen und wollte die zu ein cluster
> zusammenschließen wie geht das (software,kabel etc) und jetzt kommt mir
> net damit das ich verückt bin das wieß ich selber.

Es gibt beinahe unendlich viele Möglichkeiten, einen Cluster zu bauen. 
Aber so etwas wie "den" Cluster gibt es nicht; es geht immer darum, was 
Du mit dem Cluster machen willst, genauer: was die Anforderungen sind. 
Geht es Dir um Verfügbarkeit, Lastverteilung, oder um paralleles 
Rechnen?
Gast #4778526
Lesenswert?

Die Frage "was soll es tun" wäre sinnvoller. Du kannst ja auf dem 
Cluster kein Win 10 installieren und hast dann plötzlich einen dicken 
PC.
Ich hab vor Jaaahren mal mit Cinema 4D auf 3-4 PCs gerendert. Das ging 
super simpel mit dessen NetRender Software, nur die Texturen mussten auf 
einem Netzlaufwerk liegen damit jeder Client die Szenen laden konnte.
LHC & SETI Daten auswerten geht so aber natürlich nicht. Also ohne 
Anwendungsfall ist das sinnlos einen Cluster aufzusetzen, der macht dann 
ja nix sinnvolles.
Persönliche Seite #4779640
Lesenswert?

Sheeva P. schrieb:

> was
> Du mit dem Cluster machen willst, genauer: was die Anforderungen sind.
> Geht es Dir um Verfügbarkeit, Lastverteilung, oder um paralleles
> Rechnen?

man kann wohl mit ziemlicher Sicherheit davon ausgehen, dass jemand der 
laienhaft das Wort Cluster verwendet einen HPC-Cluster meint

Hochverfügbarkeitscluster mit 5 alten PCs wäre möglich aber recht 
unwahrscheinlich bei solch einer Fragestellung wie der vom TO

und verteilte Datenbanken mit Hochgeschwindigkeitszugriffen wird er 
nicht kaum aufsetzen wollen
Gast #4779753
Lesenswert?

Niklas L. schrieb:
> ich werde balt 5 alte PC`s bekommen und wollte die zu ein cluster
> zusammenschließen wie geht das (software,kabel etc) und jetzt kommt mir
> net damit das ich verückt bin das wieß ich selber.

Alles, was du brauchst, ist 1 Steckdosenleiste, 5 Stromkabel und 1 
Spanngurt.

Schritt 1: 5 PCs nebeneinanderstellen, Spanngurt drumherum legen und 
festziehen. Damit hast du einen Cluster.

Schritt 2: Netzwerk konfigurieren. Dazu Steckdosenleiste an Steckdose 
anschließen. Alle 5 PCs per Stromkabel mit der Steckdosenleiste 
verbinden. So hängen sie gemeinsam im gleichen Netzwerk, was 
Voraussetzung für moderne Cluster ists.

Schritt 3: Skalierung prüfen. PCs nacheinander einschalten. Der 
Leistungsverbrauch steigt im Idealfall proportional zur Anzahl laufender 
PCs. Es wurde sogar schon superlineare Skalierung beobachtet, d.h. die 
Gesamtleistung ist höher als die Summe der Einzelleistungen. Erklärt 
werden kann dies evtl. mit erhöhter Lüfterdrehzahl, weil die PCs im 
Cluster schlechter gekühlt werden als einzeln. Superlineare Skalierung 
ist der Traum jedes Clusterbetreibers.

Glückwunsch! Du kannst nun 5 mal so kräftig heizen wie mit einem 
einzigen PC.
#4780077
Lesenswert?

Niklas L. schrieb:
> ich werde balt 5 alte PC`s bekommen

Erzähl man Genaueres über deren Ausstattung.
Wenn darin noch alte IDE-Platten werkeln, vergiß es.
Da ist ein heutiger PC viel leistungsstärker und stromsparender, als 10 
solcher Krücken.

Die "alten" PCs sollten schon mindestens 8-Kerner mit 256GB RAM, 1TB SSD 
und 10GBit LAN sein, damit sich ein Cluster überhaupt lohnt.
Persönliche Seite #4780396
Lesenswert?

Programmierer schrieb:
> Mike B. schrieb:
>> Und dann Software die verteilte Berechnungen unterstützt.
>
> Welche Programme siehst Du, die man da effektiv nutzen könnte?

raytracer z.B.
hatte ich damals selbst geschrieben soll aber auch mit Blender gehen
Videobearbeitung, wo z.B. Filter über einen ganzen Film angewendet 
werden
Fraktale
alles Zeugs, wo Rechenpower ohne Ende ohne tiefschürfende Kentniss der 
Materie gebraucht wird (also z.B. keine Waffenforschung, Fluid-Dynamik, 
Astrophysik, Teilchenphysik)

wobei heutzutage die Grahpikkarten um Zehnerpotenzen schneller sind als 
normale Cluster

aber für Lern- und Übungszwecke im Bereich Multiprozessing, C++, 
Networking usw. trotzdem immer noch gut genug
Persönliche Seite #4780398
Lesenswert?

Peter D. schrieb:
> Niklas L. schrieb:
>> ich werde balt 5 alte PC`s bekommen
>
> Erzähl man Genaueres über deren Ausstattung.
> Wenn darin noch alte IDE-Platten werkeln, vergiß es.
> Da ist ein heutiger PC viel leistungsstärker und stromsparender, als 10
> solcher Krücken.
>
> Die "alten" PCs sollten schon mindestens 8-Kerner mit 256GB RAM, 1TB SSD
> und 10GBit LAN sein, damit sich ein Cluster überhaupt lohnt.

noch mehr nichtsnutziger, sinnfreier Trollschwätz

die IDE-Platten reichen immer noch aus um lokalen Zwischenspeicher 
abzugeben
und ein Linux bootet da trotzdem noch drauf
besser jedoch man bootet immer dasselbe Image per PXE vom Server
#4780439
Lesenswert?

Mike B. schrieb:
> die IDE-Platten reichen immer noch aus um lokalen Zwischenspeicher
> abzugeben
> und ein Linux bootet da trotzdem noch drauf

Das ist nicht die Frage.
IDE-Platten sind ein gutes Indiz dafür, wie alt und damit schwach die 
restliche Hardware ist.
Ein Cluster, was nicht mal die Leistung eines heutigen Einzel-PCs 
erreicht, ist völlig sinnfrei.
Persönliche Seite #4780453
Lesenswert?

Peter D. schrieb:

> Ein Cluster, was nicht mal die Leistung eines heutigen Einzel-PCs
> erreicht, ist völlig sinnfrei.

Sicherlich richtig für den "produktiven" Einsatz, nicht jedoch zum 
Lernen.

Mit 5 alten Rechner wird aber auch niemand bitcoins farmen oder Filme 
rendern wollen.

Hier gehts wohl eher um den Lernfaktor und um die Freude wenn man den 
Cluster sekbst sowie einen Benchmark und entsprechende Software zum 
Laufen gebracht hat.
Gast #4780462
Lesenswert?

ich will in der nase popeln  aber nicht mit einem oder mit zwei fingern 
sonden mit dhrei erzählt mir nicht dass ich verrückt bin   das weiss ich 
schon selber sagt mir lieber wie das geht aber zackig... habe kein bock 
mich selber mit dem thema zu befassen und ich will in 5 minuten schon 
popeln!!! macht hin ich baruche eure HILFEEEE!!!!!!

PS: habe eine normale nase mit zwei löchern, falls das was hilft

PS2: rächtschreibung, interpunktuation und so gillt für mich nicht
Persönliche Seite #4780530
Lesenswert?

Codix schrieb:
> Die Antworten auf Deine Fragen findest Du hier:
> https://www.linux.com/blog/building-beowulf-cluste...

da steht was von Ubuntu 8.x

mein größtes Problem beim Aufbau des Clusters war, dass sich bei Linux 
ständig was ändert und die Dokumentationen schwer hinterher hinken

das wird was neues eingeführt aber die Howtos und Tutorials sind noch 
für ältere Versionen und der gemeine Linux-Laie steht da, schaut blöd 
und bekommt es nicht hin
Persönliche Seite #4780715
Lesenswert?

nebenbei gesagt hab ich auch schon mal einen beowulf-ähnlichen Cluster 
mit virtuellen Maschinen aufgebaut
einen Server mit KestrelHPC und drei virtuelle Nodes, die per PXE ihr OS 
vom Server gezogen haben

Mit einem Mehrkerner (hier i7) geht das und meine C++ Berechnungen 
selbst waren "nur" single-threaded.
Der Server hat also per OpenMPI Pakete verschickt die singlethreaded pro 
Node berechnet wurden (z.B. Bildabschnitte bei raytracing/rendering)

Will sagen: Man braucht also keinen Rechnerpark um das mal 
auszuprobieren, VirtualBox und los gehts.
#4780722
Lesenswert?

Mike B. schrieb:
> man kann wohl mit ziemlicher Sicherheit davon ausgehen, dass jemand der
> laienhaft das Wort Cluster verwendet einen HPC-Cluster meint

Das bezweifle ich.

> Hochverfügbarkeitscluster mit 5 alten PCs wäre möglich aber recht
> unwahrscheinlich bei solch einer Fragestellung wie der vom TO
>
> und verteilte Datenbanken mit Hochgeschwindigkeitszugriffen wird er
> nicht kaum aufsetzen wollen

Ach, Clustering ist heute ein so weit gefaßter Begriff. Vielleicht will 
er ja was über Hadoop, Storm, Spark, Samza, Infinispan, Gridgain, 
Hazelcast oder ähnliche Technologien lernen. Bevor Du mit irgendwelchen 
Annahmen um die Kurve kommst, die sich hinterher vermutlich als flashc 
herausstellen, können wir doch erstmal freundlich fragen.
Gast #4780810
Lesenswert?

> ich werde balt 5 alte PC`s bekommen und wollte die zu ein cluster
> zusammenschließen wie geht das

- Eine bekannte Suchmaschine hat auch so angefangen?!

- Das EVU freut sich bestimmt, wenn die immer an sind ...

Jährlich wären das ca.  5*100W*8760h*0,3€/kWh= 1314€
Gast #4780902
Lesenswert?

Paul B. schrieb:
> Ach was! Wenn das für einen guten Zweck stattfindet

Bisher ist der genaue Zweck noch nicht bekannt. Evtl. wird es ein 
"Hochverfügbarkeitscluster" zur Steuerung des Brühvorgangs einer 
Kaffeemaschine? Das brächte wesentlich mehr Ausfallsicherheit als 5 VMs 
auf einem Host.
Gast #6308812
Lesenswert?

Erstaunlich wieviel Dumm-Gelaber und Besserwisserei eine einache Frage 
erzeugen kann.
Gerade den "Gästen" (zumeist Dummschwätzer mit geringen Kenntnissen in 
der Rechtschreibung) scheint es hier nur darum zu gehen, über andere 
Leute her zu ziehen, weil ihnen der Stil nicht passt und nicht genug 
"Honig ums Maul" geschmiert wird.
Gast #6308822
Lesenswert?

Hier sperrt der Mod eh gleich zu.

Clustern war frueher einfacher. Da gab es Mosix als Kernelerweiterung.
Prozesse denen es auf einem Node unwohl wurde, z.B. wegen zu wenig
CPU-Zeit, zu wenig Speicher, etc. wurden automagisch auf einen
potenteren Node migriert. Richtig, man musste keinen Handschlag
dafuer tun.
Ausser natuerlich die Nodes in eine Nodeliste eintragen.
Wenn man einen Cluster aus unterschiedlich leistungsfaehigen CPUs
gebaut hatte, wurde schnell klar, dass "Minderleister" tatsaechlich
nur den anderen die Luft weg atmen und wenig zum Ergebnis beitragen.
Die "schnellen" Nodes, obwohl in der Minderzahl, leisteten die
Hauptarbeit. Eine Lieblingsbeschaeftigung jedes Clusters ist
natuerlich das Bauen von Kerneln. In Zahlen trug eine schwache
CPU nur 3-4 % zum gesamten Bau bei, die wenigen schnellen CPUs
aber ueber 60 %.

Der Kernel war damals ca. 2.4.18-2.4.20.
Nodes waren div. P75 mit 40 MB, SMP-Dual-P100 bis
SMP-Dual-P200MMX mit 96 MB/256 MB und ein
AMD K6 350 MHz mit 192 MB. Ein bunter Mix aus ISA, EISA und
Microchannelboards in den Rechnern.
Das ganze mit einem sich selbst per NFS exportierendem Master
als Root-NFS der von den Nodes gemountet wurde.
Gebootet wurde von einer Novellemulation per RPL/DOS5 mit Loadlin.
Die stellte auch der Masterserver bereit. Oder halt mit einer
Bootdiskette.

Aber es gab auch Probleme. Den P75 z.B. die Keyboardpruefung
im BIOS-Setup auszuschalten. Den Punkt kannte das BIOS gar nicht.
Hilfe brachte ein Server der selben Firma wo die Pruefung
abschaltbar war. Es war letztendlich das selbe Bit im
extended Setup-CMOS-RAM auch bei den P75.
Die CMOS-Pruefsumme musste man noch haendisch anpassen.
Oder das Loadlin nur Kernel mochte, die < 1 MB waren.
Auch hier musste gepatcht werden.

Aber interessant war es schon.
Gast #6308825
Lesenswert?

Geselle schrieb:
> Erstaunlich wieviel Dumm-Gelaber und Besserwisserei eine einache Frage
> erzeugen kann.
> Gerade den "Gästen" (zumeist Dummschwätzer mit geringen Kenntnissen in
> der Rechtschreibung) scheint es hier nur darum zu gehen, über andere
> Leute her zu ziehen, weil ihnen der Stil nicht passt und nicht genug
> "Honig ums Maul" geschmiert wird.

Wenn du dir die Mühe gemacht hättest, auf das Datum dieses Threads zu 
beachten, wäre dir (wahrscheinlich) aufgefallen, das deine Worte auf 
deinen eigenen Beitrag ebenfalls zutreffen...
Gast #6309075
Lesenswert?

Ich möchte auch einen Cluster bauen.

Für mich besteht der Cluster aus einem Raum in das von außen nur ein 
Netzwerkkabel und ein Netzkabel führt.

In diesem Raum stehen einige PCˋs die untereinander verkabelt sind.

Auch wenn ein oder mehrere PCs nicht mehr funktionieren soll der Cluster 
weiter arbeiten können.

In diesem Fall muß der Ausfall der Komponenten per Netzwerk gemeldet 
werden.


Von außen soll der Cluster wie ein normaler PC wirken.


Wie gehe ich dabei sinnvoll vor?
OP #6310717
Lesenswert?

Ich muss sagen ich habe jetzt hiervon Benachrichtigungen bekommen mich 
nach langer Zeit wieder hier angemeldet und es ist einfach nur witzig 
was hier los ist und das sowas nach ein paar Jahren noch wieder 
aufgewärmt wird...
Aber sollte es jemanden interessieren aus dem Cluster ist nie was 
geworden damals war einfach mein Englisch und generell technisches 
Verständnis zu schlecht...
Gast #6310738
Lesenswert?

Niklas L. schrieb:
> Ich muss sagen ich habe jetzt hiervon Benachrichtigungen bekommen mich
> nach langer Zeit wieder hier angemeldet und es ist einfach nur witzig
> was hier los ist und das sowas nach ein paar Jahren noch wieder
> aufgewärmt wird...
> Aber sollte es jemanden interessieren aus dem Cluster ist nie was
> geworden damals war einfach mein Englisch und generell technisches
> Verständnis zu schlecht...

Warum hab ich das hartnäckige Gefühl das wir da jetzt einen Fall von 
"Die Geister die ich rief..." heraufbeschworen haben ?!


;)
#7901706
Lesenswert?

Niklas L. schrieb:

Ich muss sagen ich habe jetzt hiervon Benachrichtigungen bekommen mich nach langer Zeit wieder hier angemeldet und es ist einfach nur witzig was hier los ist und das sowas nach ein paar Jahren noch wieder aufgewärmt wird... Aber sollte es jemanden interessieren aus dem Cluster ist nie was geworden damals war einfach mein Englisch und generell technisches Verständnis zu schlecht...

Ich habe jetzt mal den ganzen Thread „durchgearbeitet“. Es sind diesmal schon fünf Jahre um. Jetzt wo es neue Themen gibt.

Hat hier schon einer KI in Form eines LLM zu Hause im Cluster laufen lassen?

Freu mich auf eure Rückmeldung.

#7901810
Lesenswert?

Max schrieb:

Hat hier schon einer KI in Form eines LLM zu Hause im Cluster laufen lassen?

Das Hauptproblem ist erst mal, genug RAM auf die Nvidia Karten pro Rechner zu kriegen. Jeder einzelne Rechner braucht genug Video RAM, um das gesamte Modell aufnehmen zu können. Man kann das Modell nicht auf mehrere Rechner verteilen.

Mit einem Cluster gewinnst du nur Performance.

#7901894
Lesenswert?

Nemopuk schrieb:

Mit einem Cluster gewinnst du nur Performance.

Geht schon dafür gibts NVLink-Fusion, NVLink-Switch und die NVLinks selber. Aber ob man sich das "zu Hause" auch leisten mag, steht auf einem ganz andern Blatt. :-D Da laufen auch nur spezielle GPUs und spezielle Server.

(Mit dem NVLink-Switch stehen die einzelnen GPUs dediziert zur Verfügung, geht auch nur mit

Dieser Beitrag ist gesperrt und kann nicht beantwortet werden.