Mein kleines BOINC GPU Monster im Aufbau....

sompe

Grand Admiral Special
Mitglied seit
09.02.2009
Beiträge
14.280
Renomée
1.961
  • BOINC Pentathlon 2023
Nachdem ich darum gebeten wurde mal einen kleinen Bericht über mein GPU Monster im Aufbau zu verfassen und ich nun schon erste Tests mit dem halben Aufbau durchführen konnte möchte ich hier mit meinen ersten Erfahrungen anfangen aber nun erstmal ein kurzer Überblick über das geplante System.

Es sollen 4 Radeon Pro Duos zusammen mit einem Super Flower Leadex Platinum 2000W in ein Geh Inter-Tech EM-01 Midi-Tower gesperrt werden sollen.
Der Radiator der orginalen Grafikkarten WaKüs soll abgetrennt und alle Karten in eine externe Wasserkühlung eingebunden werden.
Für ausreichend Kühlung soll ein MO-RA 420 mit 4 BitFenix Spectre 230 mm und einer XSPC X4 Photon 170 Pumpen/AGB-Kombo sorgen und von einer Aquaero 5 XT überwacht werden. Allerdings bleibt es bei den Standard Kühlern bis die Wasserkühlung komplett ist.

Aktuell hat der offene Testaufbau meinen alten FX-8350 auf einem ASRock 990FX Extreme9 mit 2x 8 GB DDR3 1866 Speicher erhalten und bisher lediglich 2 der 4 geplanten Karten bekommen. Er sorgte aber auch so bereits für den einen deer anderen aha Effekt aber nun erstmal zu den ersten Ergebnissen.

Das starke Abschneiden beim BOINC Projekt Einstein brachte den Stein für dieses System ins rollen.
Hier schaffte das System 4 WUs in 8:30 Minuten, wobei der Abschluss der WUs der primär die CPU beansprucht gute 2 Minuten dauerte, hier könnte ein schnellerer Prozessor die Zeit durchaus noch deutlich verkürzen. Hierbei verbriet das System gute 850-900W und die Temperatur der Grafikkarten pendelte sich bei ca. 60 °C ein.

Beim 3DMark Time Spy Test kamen die 4 GPUs zusammen mit dem FX auf immerhin 10061 Punkte und das alle 4 GPUs genutzt und wohl auch der Prozessor stark ausgelastet wurden konnte man anhand des Strommessgerätes sehr gut erkennen denn dort kam ich zum Ende dess Tests auf einen Verbrauch von gut 1000W.
Da beim DX12 Time Spy Test kein klassisches Crossfire zum Einsatz kommt bin ich gespannt wie er seitens der Performance auf weitere Karten, also 6-8 GPUs reagieren wird.

Sehr interessant fand ich allerdings wie die beiden Grafikkarten auf den idle Betrieb reagierten denn die Karte an der kein Monitor angeschlossen war schaltete sich weitestgehend ab, was man auch daran erkennen konnte dass das beleuchtete Radeon Logo sich abschaltete (der Lüfter vom Radiator läuft weiter) und der idle Strombedarf sank von ca. 170W auf ca. 130W.

Mehr Werte konnte ich in der kurzen Zeit noch nicht liefern da ich mich jetzt erstmal an den Aufbau des Systems machen muss aber zum Wochenende kann ich vielleicht mehr Werte liefern.
 
cool. Danke für den Erfahrungsbericht. Ich verewige mich hier mal, da ich über etwas ähnliches auch nachdenke...
 
Pics or it did not happen!

Im Ernst: Hört sich nach einem echten GPU Monster an. Kommt da später noch eine modernere Plattform ins Spiel, wie etwa X399 mit einem Threadripper?
 
Es kommt auf jeden Fall noch eine ander Plattform rein, der FX ist eher eine Notlösung weil ich nicht zu Intels 2011-3 Plattform greifen will um genug PCIe Lanes zu haben.
Das ASRock 990FX Extreme9 hat zwar 4 Slots aber nur einer hat fest 16 Lanes, 2 teilen sich 16 Lanes und einer ist gar nur mit 4 angeschlossen und für einen 2 Slot Kühler zu dicht am anderen Slot dran. Zudem hat es natürlich noch nicht den PCIe 3.0 Standard und so von Anfang an weniger Bandbreite.

Um den Rufen nach Bildern anchzukommen, nachdem ich im Profil etwas Platz geschaffen habe packe ich doch glatt jeweils ein Bild von den noch unfertigen Komponenten rein. ;)

Anhang anzeigen 35856 Anhang anzeigen 35857
 
Zuletzt bearbeitet:
Wenn Du jetzt noch den Radiator wegbaust und die WaKü stattdessen an den Rücklauf Deiner Heizung anschließt, sparst Du sogar noch bei der ganzen Aktion ;D ;) *great*
 
Ich bin dir in der Planung weit voraus. ;)
Unter einem ähnlichen Gesichtspunkt habe ich mit dem Watt Monster bereits vorgeplant. Die externe Radiator Box wird per Schnellkupplung angeschlossen und wenn ich mir mal ne Hütte kaufen sollte wird das Dach mit Solar Modulen vollgepflastert und das Watt Monster an die Fussbodenheizung angeschlossen. *buck*
BOINC Heizung eben. 8)
 
...
Das starke Abschneiden beim BOINC Projekt Einstein brachte den Stein für dieses System ins rollen.
Hier schaffte das System 4 WUs in 8:30 Minuten, wobei der Abschluss der WUs der primär die CPU beansprucht gute 2 Minuten dauerte, hier könnte ein schnellerer Prozessor die Zeit durchaus noch deutlich verkürzen. Hierbei verbriet das System gute 850-900W und die Temperatur der Grafikkarten pendelte sich bei ca. 60 °C ein.
...
Sehr interessant fand ich allerdings wie die beiden Grafikkarten auf den idle Betrieb reagierten denn die Karte an der kein Monitor angeschlossen war schaltete sich weitestgehend ab, was man auch daran erkennen konnte dass das beleuchtete Radeon Logo sich abschaltete (der Lüfter vom Radiator läuft weiter) und der idle Strombedarf sank von ca. 170W auf ca. 130W.
Sauber, bei 855W Peak bewegen sich die GPUCoreTemps der Tahiti´s bei 90°C+

Hast du CrossfireX aktiviert in den Radeon Einstellungen? Wenn ja, greift natürlich ZeroCorePower. *greater*
 
Für Testzwecke hatte ich es aktiviert und ich habe dafür die Fire Pro Treiber eingesetzt. Das erschien mir für den Verwendungszweck am sinvollsten. ;)

Ich habe mir aber mal die Schläuche des demontierten Kühlers von der Karte in meiner Daddelkiste vorgenommen und das wird ein graus den Radiator da runter zu bekommen.
Unter dem sleeve Mantel befindet sich der gleiche gerippte Schauch wie er auch im inneren des Kühlers verlegt ist und dessen Konsistenz erinnert eher an die PUR Schläuche. Eher macht man die Anschlussstücken kaputt als das man sie von den Tüllen des Radiators gehebelt bekommt. Die Kühlflüssigkeit sah ziemlich giftgrün aus. Prinzipiell müsste man sie aber auf dir 6er Schlauchtüllen gezogen bekommen.

Da muss ich mir nochmal was einfallen lassen wie ich sie am besten vom Radiator bekomme.....

--- Update ---

Noch ein paar Werte von meinem lieblingstest, dem Valley Benchmark. Diesmal per VRS in 3840 x 2400 und natürlich mit aktivem Frame-Pacing.
mit 4x AA lief e recht gut aber bei 8x AA gab es streckenweise so heftige Einbrüche das den Karten offensichtlich der Speicher ausging.

valley 1.PNGvalley 2.PNG

--- Update ---

Nachdem sich nun auch Seti@home auf das System einfahren konnte bin ich bei durchschnittlich 5:30 pro WU.
Es kommen also alle 5:30 Minuten 4 WUs GPU raus.
 
@sompe
Hammer aktion mit dem FirePro Treiber! *greater*
Mit GPU WaKü hast immer was zum Basteln, ein Diamand wir auch so lange geschliffen bis er verschwunden ist (Perfektion).

Die Seti@home Werte sprechen wohl ihre eigene Sprache... *yeah*
 
Jetzt muss ich nur noch die letzte Karte zu einem günstigen Preis finden damit ich das Trio komplett machen kann. Die vierte Karte wandert erst rein wenn sie in meiner Daddelkiste einer anderen Karte weichen muss.
 
Warum mined man mit sowas nicht Ethereum? Damit nächste locker n Tausender Umsatz im Monat.
 
Darüber kann ich mir ja nochmal Gedanken machen wenn das System fertig ist und vor allem der Winter vor der Tür steht denn im Sommer wäre die Abwärme das letzte was ich in der Bude gebrauchen könnte. :D

In der Zwischenzeit ist es einfach nur ein just4fun System. :)
 
So, die dritte Karte ist unterwegs, Gehäuselüfter sind nachgerüstet und die restlichen WaKü teile sollten auch unterwegs sein.
Weitere Testwerte und neue Bilder kommen wenn alles aufgebaut ist.
 
@sompe
Crazy, 3x Duo Pro?

Bei VAlley komme ich nur bis 1440p@1080p "VSR"
valleyvsr_stocksystembiqlq.jpg


Beat it, please! 8)
 
4x wird der Endausbau. ;)
Heute habe ich die 2 bisherigen Karten in den Kreislauf eingebunden und am Komponententräger für den Radiator gearbeitet.
Ist die dritte Karte da dann muss diese sich erstmal bewähren bevor sie eingebunden wird. Man will ja das sie läuft bevor man die Garantie durch das Abschneiden des Radiators in den Wind schießt.

Im Moment läuft erstmal ein 3h kurzer Seti/Einstein Test um dem System einzuheizen und zu schauen ob auch wirklich alles dicht ist.
Bisher schaut es gut aus.
 
4x wird der Endausbau. ;)
Heute habe ich die 2 bisherigen Karten in den Kreislauf eingebunden und am Komponententräger für den Radiator gearbeitet.
Ist die dritte Karte da dann muss diese sich erstmal bewähren bevor sie eingebunden wird. Man will ja das sie läuft bevor man die Garantie durch das Abschneiden des Radiators in den Wind schießt.

Im Moment läuft erstmal ein 3h kurzer Seti/Einstein Test um dem System einzuheizen und zu schauen ob auch wirklich alles dicht ist.
Bisher schaut es gut aus.
*chatt*
Das ist Wahnsinn, bin gespannt wie ein Gummi-Ringel, viel Erfolg und Spaß beim Basteln! :)

P.S. da würde sich Mining schon lohnen, aber im Jahr sind es wieviel mehr Stromkosten (abzüglich Heizkosten im Winter) ;D
 
Ohne Solar Anlage halte ich es ohnehin für wenig sinnvoll. Das sind aufs Jahr gerechnet immerhin fast 15.800 kWh die das System verbraten würde. Zusammen mit dem normalen Stromverbrauch würde ich da auf über 4000 € Stromkosten pro Jahr kommen und die Abwärme dürfte zur jetzigen Jahreszeit zu einem echten Problem werden.

Bei einem Eigenheim mit einer dicken Solar Anlage könnte es aber eine echte Alternative sein. Zur kalten Jahreszeit spart man Heizkosten und per Mining könnte man eine zusätzliche Einnahmequelle generieren.
 
Nun ist auch die dritte Karte da und steckt im System. ;)
Nun kann es ca. alle 8:30 Minuten 6 statt 4 Einstein WUs liefern und benötigt dafür ca. 1200W.
Mit dem Einzug der dritten Karte und der Aufstockung auf 6 GPUs stellten sich aber auch neue Probleme ein denn der Crossfire Verbund wird nun nicht mehr angeboten und der zuvor eingestellte Crossfire Verbund erzeugte offenbar Probleme mit dem Powermanagement denn die Karte ohne Monitor wurden immer wieder halb abgeschaltet und wieder gestartet. Nach dem Start mit einer deaktivierten Karte (dazu reicht schon dsa Entfernen eines Stromsteckers), dem Deaktivieren des Crossfire Verbundes und erneuten Startens mit allen 3 Karten trat es so nicht mehr auf.

Der Einzug der dritten Karte und die damit verbundene Aufstockung auf 6 GPUs hatte aber nicht nur eine Deaktivierung des Crossfire Verbundes zur Folge sondern auch der DX12 Test vom 3D Mark war offenbar nicht mehr in der Lage mehrere GPUs gleichzeitig zu nutzen.
Damit sank das Ergebnis beim Time Spy Test von ehemals ca. 10000 Punkten auf nunmehr ca. 4300
http://www.3dmark.com/3dm/20101375
http://www.3dmark.com/3dm/20257569

Weitere Tests mit Tomb Raider und Ashes folgen, mir fehlt dazu im Moment aber die Zeit.

Zu guter letzt aber noch die Fotos vom aktuellen Aufbau. ;)
Wie man sieht ist der Radiator bei voller Lüfterdrehzahl mit ca. 1,2A bei 12V dabei.
Die überschüssige Länge der PCIe Stromkabel habe ich einfach in den Laufwerksschacht gestopft und die Lüfter der Karten muss ich aber irgendwann noch entfernen. Vermutlich wenn ich die dritte Karte mit in den Kreislauf einbinde.

Anhang anzeigen 35886 Anhang anzeigen 35887
 
Zuletzt bearbeitet:
Du verrückter Hund Daumen hoch
 
Und um noch ein paar Besonderheiten des orginalen Kühlsystems festzuhalten.
Jede GPU hat eine eigene Pumpe, somit sind bei dessen Einsatz also immer 2 Pumpen pro Karte aktiv. Der Schlauch vom Pumpenausgang der Karte liegt vorn beim Slotblecht. Das dürfte idR. der Schlauch sein an dem auch das Lüfterkabel festgestrapst ist. Will man das Kabel des Lüfters sammt Stecker entfernen aber nicht beschädigen und auch den Kühler nicht demontieren dann läßt es sich meiner Meinung nach am einfachsten machen wenn man die Deckel bei den Radeon Logos abschraubt und den Stecker dann bei den Schlauchauslässen rausfummelt denn das Kabel scheint nicht wirklich fixiert zu sein.

So nebenbei: An dem Kühlsystem ist kaum Kunststoff dran, die Außenflächen bestehen fast nur aus gummierten Metall auf einem ?lackierten? Metallchassi. Den großen Deckel konnte ich mit einem CR-VT6 und den schmalen (weitere Schrauben noch unter dem großen Deckel) mit einem CR-V PH0 Bit abschrauben.
 
Ohne Solar Anlage halte ich es ohnehin für wenig sinnvoll. Das sind aufs Jahr gerechnet immerhin fast 15.800 kWh die das System verbraten würde. Zusammen mit dem normalen Stromverbrauch würde ich da auf über 4000 € Stromkosten pro Jahr kommen und die Abwärme dürfte zur jetzigen Jahreszeit zu einem echten Problem werden.

Bei einem Eigenheim mit einer dicken Solar Anlage könnte es aber eine echte Alternative sein. Zur kalten Jahreszeit spart man Heizkosten und per Mining könnte man eine zusätzliche Einnahmequelle generieren.

In der Tat, 16 Core Threadripper, 4 von den Karten, eigene Hütte, Solarstrom auf dem Dach und die Hashrate an Nicehash verkaufe ... Dann bräuchte man fast nicht mehr arbeiten zu gehen. ;)
Eine Sauna könnte man damit auch ganzjährig betreiben ;D
 
Nicht wirklich, ein bischen Optik ist ja ganz nett aber das ist mir dann doch zu viel des guten, zumal ich die Glasplatte aufgrund der Kratzeranfälligkeit eher als störend empfinden würde.
Ich wollte schon immer mal einen netten "kleinen" 19" Schrank haben in dem ich den ganzen Kram hochstapeln kann. 8)
Dafür fehlt mir aber noch der passende Aufbauort und vielleiiiicht auch noch die passenden Finanzen. *buck*

Die nächsten Herausforderungen bei diesem Projekt wird aber sicherlich der Einbau der vierten Karte sein.
Hier stellen sich nämlich 2 Fragen.
Bleibt der 1 Slot Zubehör Kühler auf der Karte (wäre wohl für eine möglichen späteren Umzug in ein 19" Gehäuse optimal) oder baue ich den orginalen Wasserkühler wieder drauf (optimale Optik für den aktuellen Aufbau)?
Frage Nummer 2 betrifft die Stromversorgung der Karte denn dafür stehen vom Netzteil nur 9 Kabel zur Verfügung, ich bräuchte dann aber 12x 8 Pin Stecker.
Es gibt zwar mehrere Kabel mit einem 6+2 Pin sowie einem 6 Pin Stecker aber wenn nicht alle Stromanschlüsse der Karte mit 8 Pin Steckern belegt sind verweigert sie den Start und den 6 zusätzlichen Pin Stecker einfach mit einem 8 Pin Adapter zu belegen wäre mir zu unsicher. Es gibt zwar prinzipiell Adapter von 2x 6 Pin auf 1x 8 Pin aber die sind hierzulande selten und eher unverhältnismäßig teuer.

Dieses bestehen der Karten auf die 8 Pin Stecker hat mich allerdings auf eine Idee gebracht die Anzahl der aktiven Karten zu steuern um trotz 4 verbauter Karten dennoch das System zu einem 4er Crossfire Verbund machen zu können. Ich bin am überlegen ob man die 2 zusätzlichen Masse Pins nicht einfach per Relaise schaltbar machen könnte um so vor dem Start des Systems Karten abschalten zu können. Ein zweites Relais soll dann verhindern das beim laufenden System umgeschaltet werden kann denn ich glaube nicht dass das System ein Umschalten im laufenden Betrieb verkraften würde.


Na mal schauen wie die Geschichte weiter geht.
 
Es gibt zwar mehrere Kabel mit einem 6+2 Pin sowie einem 6 Pin Stecker aber wenn nicht alle Stromanschlüsse der Karte mit 8 Pin Steckern belegt sind verweigert sie den Start und den 6 zusätzlichen Pin Stecker einfach mit einem 8 Pin Adapter zu belegen wäre mir zu unsicher.

Normalerweise sollte das kein Problem sein, wenn die Kabel dick genug sind. Ich hatte mal bei der 2900XTX auch das Problem. Sie lief zwar mit einem 6er in der 8er Buchse, aber Overdrive ging damit nicht zu aktivieren. Hierbei half eine simple Brücke über den übrigen 2 Pins, da ein Pin nur eine Sensorschaltung war, die regestriert hat, ob ein 8-pin steckt oder nicht.

Wie du also siehst, ist der einzigste Unterschied zwischen 6er und 8er eine! zusätzliche Masseleitung. Daher ist auch ein 6er gut in der Lage, 150W des 8ers bereitstellen zu können, vorrausgesetzt, die Leitungs- (dünne Adern) und Kontaktwiderstände (ausgeleierte Kontakte) sind nicht zu hoch.
 
Ich weiss das diese Pins nicht zur Leistungsübertragung da sind sondern es sich eher um Abfragepins handelt die sicherstellen sollen dass das Kabel hinter dem Stecker einen ausreichenden Querschnitt besitzt. Meine alte 2900XT verhielt sich im übrigen so wie deine XTX und schaltete beim 8 Pin Stecker lediglich die Übertaktungsfunktion frei, die Pro Duo reagiert aber ganz anders darauf und stellt den Betrieb ein sobald auch nur ein 6 Pin Stecker drin steckt. Alles schon getestet. ;)
 
Zurück
Oben Unten