GPU Cluster

Leider wußte ich nicht wohin damit, aber es wurde kurz im TuningBoard-Thread angesprochen und ich wollte zeigen was ich da meinte - von diesem hatte ich insg. zwei "Cluster" an meinem PC angeschlossen:

Ganz zu Anfang war das an diesem Rechner angeschlossen:

Das war der Anfang von allem "Übel" im MacPro bekam ich einfach nicht die Grafikkarte die ich "brauchte" unter, also mußte die oben gezeigte Lösung her.

Später wurde das von einem selber zusammengebauten Windows-PC betrieben, der MacPro kam einfach recht schnell an seine Grenzen.

Im PC selber steckt ein Hostboard (links auf dem Bild) und das Teil rechts ist das Board auf dem die Grafikkarten gesteckt werden (Oberseite zwei, unterseite zwei):

Der "Cluster" wurde mit einem herkömmlichen Ethernetkabel mit dem Hostboard im PC verbunden und jedes Clusterboard hatte ein eigenes Netzteil.

Das war der spätere PC, der alles steuerte (rechts im Bild):

In der finalen Ausbaustufe habe ich zehn Grafikkarten betrieben, eine elfte führte zu einem unstabilen System. Der PC hatte eine 10Kern/20Thread-CPU, 64GB-RAM... Jedes Netzteil (PC und die zwei für die zwei Cluster) hatte 1200W - im Winter brauchte man keine Heizung wenn das System was gerendert hat

Heute existiert das System nicht mehr...

Wofür das ganze? Mining? Können man denken, das Setup wäre vermutlich ähnlich aber alleine schon die Kosten von so einem Cluster-"Käfig" lagen bei rund 600Euro und dürften (unter berücksichtigung unserer Strompreise) wohl das ganze fürs Minen uninteressant machen (abgesehen von den Preisen der Grafikkarten).

Ich brauchte das ganze um Bilder zu rendern:

Das sind alles nun schon uralte Bilder - mit einem "einfachen" PC hätte ein Bild zum Teil 15-20 Stunden gebraucht, mit meinem SetUp grob 30 Minuten...

zu dem ganzen Kram gibt es auch noch einige andere Stories (brennende Platinen/Grafikkarten... )

Zitat von Boulderdash64

Also angeblich soll sich Mining auch mit ner 1500€ Graka lohnen - aber ich kenne mich damit zu wenig aus...

Klar, kann... Je nachdem wo man lebt und was man für den Strom bezahlt.
In Deutschland wird das bestenfalls eine Null-Nummer mit dem Stromverbrauch - das was man per Mining verdient hat man direkt für den Strom ausgegeben, da finanziert sich keine Hardware mehr von.

Zitat von Boulderdash64

Das Cluster sieht eigentlich eher unscheinbar aus - finde ich - aber satte Leistung, die es gezogen hat... Warum hast Du es demontiert???

Und wie renderst Du jetzt???

Könntest ja mal ne hammermäßige B5-Station machen

Ist eigentlich auch unscheinbar, halt vier externe Grafikkarten in einem "Käfig" - die "Magie" war auch letztlich das diese Karten über ein simples Ethernet-Kabel mit dem PC verbunden wurden und man so tatsächlich die Option bekam diese Karten vollumfänglich zu nutzen.

Das Rig schrumpfte mit der Zeit automatisch immer weiter zusammen:

ein PC hat ja nur gewisse Ressourcen frei um Erweiterungen zu verwalten, mit den 10-11 Karten war ich hart am Limit dessen (und weit über dem was offiziell von dem Mainboard im PC verarbeitet werden kann).

Mit jeder neuen Generation von Grafikkarten hat eine einzelne Karte immer mehr Ressourcen in anspruch genommen. So konnte ich Anfangs bei einem Mischbetrieb aus GTX980TI's und (alte) Titan-Karten halt wirklich die 10-11 Karten betreiben.

Mit den folgenden 2Stck. GTX Titan X und 6Stck. GTX1080Ti waren es dann halt "nur" noch 8 Karten - die aber in Summe mehr Power lieferten als die 10-11 zuvor. Eine 2080TI brachte das Gefüge wieder ins Schwanken.

So wurden es halt weniger Karten, man konnte noch Ressourcen freimachen indem man OnBoard-Audio und Netzwerk deaktivierte, man konnte auch noch was per BIOS-Mod zaubern - aber das wurde auch zu aufregend

Letztlich war es am Ende auch eine Frage des Geldes: die Stromrechnung war schon arg strapaziert und auch das interesse am Rendern ist etwas eingeschlafen

Boulderdash64 : im ersten Beitrag habe ich die elementaren Teile meines Clusters gezeigt.

Es gibt da inzwischen verschiedene Varianten wie man das angehen kann, was mich aber damals zu der Lösung die ich hatte brachte war:

- es gab einen Käfig für die Grafikkarten, da mußte nichts eigenes noch gebastelt werden

- das Board der Grafikkarten wurde mit den dafür vom Netzteil vorgesehenen Steckern versorgt (nicht per Slot mit dem großen Molex)

- das Netzteil der Grafikkarten wurde via dem Board ein/ausgeschaltet - bei allen anderen Lösungen mußte man das immer per Hand ein/ausschalten

- das Dingen war wirklich dafür ausgelegt ein paar Watt durch die Platine zu jagen (okay, die erste Version hatte einen Designfehler der... für Effekte sorgte)

- am Host-Board im PC konnte ich bis zu vier Cluster (=insg. 16 Grafikkarten extern) anschließen und es war nur ein PCI-Slot am PC belegt

Bzgl. Stromkosten... das kannst versuchen auszurechnen, Grafikkarten in einer gewissen Leistungsklasse sind für bis zu 350W (wenn ich mich nicht ganz täusche) ausgelegt... dann weißt schonmal warum 1200W-Netzteile verwendet wurden, auch wenn im Real-Betrieb nie die gesamte Power abgerufen wurde.