Octave Multi-Prozessor

[Michael (Gast)]

Hallo,
ich benötige für ein Octave-Projekt eine sehr hohe Rechenleistung und 
wollte mal wissen, ob es möglich ist, so ein System auf einem 
"Fernsteuer-PC" laufen lassen kann und die Berechnungen auf einem Server 
mit mehreren Leistungsstarken Prozessoren (z.B. IBM Blade-Server) 
durchführen kann oder alternativ als bastel-lösung, ein Rack aus 
meinetwegen 64 RaspberryPIs, welche parallel laufen und die Berechnungen 
durchführen.
Aktuell dauert ein Durchlauf nämlich mehrere Tage und wir müssten das 
auf wenige Stunden verkürzen.

Schöne Grüße und vielen Dank für die Hilfe.
Michael

[Mark 99 (Gast)]

Versuch mal http://octave.sourceforge.net/multicore/ (ohne Garantie)

[Arc N. (arc)]

Michael schrieb:
> Hallo,
> ich benötige für ein Octave-Projekt eine sehr hohe Rechenleistung und
> wollte mal wissen, ob es möglich ist, so ein System auf einem
> "Fernsteuer-PC" laufen lassen kann und die Berechnungen auf einem Server
> mit mehreren Leistungsstarken Prozessoren (z.B. IBM Blade-Server)
> durchführen kann oder alternativ als bastel-lösung, ein Rack aus
> meinetwegen 64 RaspberryPIs, welche parallel laufen und die Berechnungen
> durchführen.

Wenn 64 Raspberrys reichen (die bringen afair irgendwas um die 300 
MFLops pro Stück im Linpack 1)), dann reicht ein einziger i7-4770K der 
auf ~300 MHz runtergetaktet ist...

1) http://www.raspberrypi.org/forums/viewtopic.php?t=33186&p=574605


> Aktuell dauert ein Durchlauf nämlich mehrere Tage und wir müssten das
> auf wenige Stunden verkürzen.

Hauptproblem bei Octave ist, dass die Programme tatsächlich 
interpretiert werden und damit "normale" Lösungen mit Schleifen etc. 
meist drastisch langsamer sind als vektorisierte Lösungen (soweit 
machbar). Externe Funktionen, die vom Octave-Code aufgerufen werden, 
könnten ebenso eingesetzt werden.

[Michael (Gast)]

Hallo,
danke für die Antworten.
Das mit den PIs war auch nur so eine Idee, da viele immer die 
Leistungsfähigkeit anpreisen, aber das mit dem Blade-Center oder einem 
ähnlichen Rechner-System war die eigentliche Idee. Mir ist nur nicht 
ganz klar, wie ich das ganze dann realisieren soll. ist es besser quasi 
ein Schnelles System zu bauen, auf dem das dann läuft und ich via 
Remote-Verbindung dann vom Laptop drauf zugreife, oder gibt es irdendwo 
die möglichkeit, einfach die Rechenleistung nicht Lokal sondern entfernt 
in Anspruch zu nehmen. Mit dem Multicore Plug-In denke ich wäre die 
Remote-Variante vorteilhaft.

Grüße und danke,
Michael

[(prx) A. K. (prx)]

In FLOPS das Äquivalent von 18000 Raspberrys:
http://www.zdnet.de/88201502/amd-stellt-server-grafikkarten-firepro-s9050-und-s9150-vor/

Ist im Grunde eine Gamer-Grafikkarte ohne Videoausgang. Die Radeon R9 
295X2 hat dann nochmal das Doppelte davon. Sowas scheint auch bei bei 
Bitcoin Minern recht beliebt zu sein.

[Hannes J. (Firma: _⌨_) (pnuebergang)]

Michael schrieb:
> oder gibt es irdendwo
> die möglichkeit, einfach die Rechenleistung nicht Lokal sondern entfernt
> in Anspruch zu nehmen.

Das nennt sich dann ganz modern Cloud Computing.

Wir alten Säcke kennen das noch aus der Steinzeit. Da mietete man sich 
für aufwendige Berechnungen Rechenzeit auf einem Großrechner. Heute 
bekommt man ein nettes Web-Interface bei Google, Amazon oder weniger 
bekannten Anbietern und kann sich seinen virtuellen Großrechner 
zusammenklicken.

Allerdings würde ich mir ernsthaft überlegen die Software von Octave 
wegzuportieren. Ich mag Octave und benutze es selber, aber es ist nun 
mal ein Interpreter um "irgendwie" kompilierte Bibliotheken herum. 
Selbermachen, auch wenn man die selben Bibliotheken verwendet, bedeutet 
man bekommt mehr Kontrolle über die Mehrprozessor-, Mehrkern-Funktionen 
in der Software.

Ich habe für manche Berechnungen ein 24-Way System am Start (echte 
Hardware, kein Cloud Computing). Bisher bin ich nicht mal auf die Idee 
gekommen, da irgendwas mit Octave zu machen.

[Michael (Gast)]

Super, danke ich glaube voerst werde ich mich mal mit dem Amazon Cloud 
services begnügen, ist einfach die günstige und leistungsstärkste 
variante.

Interessant wäre, ob jemand hiermit schon einmal erfahrungen gemacht 
hat, aber es klingt auf alle fälle mal brauchbar.

Schöne Grüße,
Michael

[Arc N. (arc)]

Michael schrieb:
> Super, danke ich glaube voerst werde ich mich mal mit dem Amazon Cloud
> services begnügen, ist einfach die günstige und leistungsstärkste
> variante.
>
> Interessant wäre, ob jemand hiermit schon einmal erfahrungen gemacht
> hat, aber es klingt auf alle fälle mal brauchbar.
>
> Schöne Grüße,
> Michael

U.U. stellt sich auch noch die Frage, ob die Daten/Ergebnisse so 
unwichtig sind, dass sie in die Cloud dürfen...
Die nächste wäre die Frage von oben nach Optimierung der Algorithmen und 
auf welcher Plattform sich das Problem am besten lösen lässt. Es gäbe 
bspw. noch Intels Xeon Phi PCIe-Karten, die eine Alternative zu den 
genannten GPUs sein könn(t)en.