Bericht: Mehrere Boards an einem Netzteil

Einleitung:

Für eine Boinc-Farm braucht man viele Rechner die eigentlich nichts machen als rechnen.
Ein normaler Rechner mit einem sagen wir mal AMD Athlon BE2350 braucht ca. 80 W an Leistung. Das ist sehr wenig im Vergleich zu den Netzteilen die man heute so zu kaufen bekommt. Es gibt zwar 100 W Netzteile aber die sind entweder teuer oder uralt. Ein „normales“ Netzteil mit 300 Watt arbeitet bei der Last im uneffizienten Bereich. Die Überlegung war nun, warum nicht ein starkes Netzteil mit mehreren Boards im effizienten Bereich betreiben statt viele Netzteile bei (nicht mal) Teilast?

Komponentenauswahl:

Wie schon erwähnt war das Ziel mehreren Rechnern einen Boinc-Cluster zu bauen. Nun soll das ganze so energieeffizient wie möglich erfolgen. Deshalb fiel die Auswahl auf die AMD Athlon BE Reihe die nur 45 Watt Verbrauch pro CPU hat. Als Mainboard sollte auch ein möglichst sparsames Modell Verwendung finden. Ich habe ein MSI K9MM-V gewählt. Das hat einen VIA-Chipsatz und ist außerdem noch kleiner als ein normales Mikro-ATX Board. Eine dieser CPUs mit entsprechendem Board verbraucht bei Vollast (2xEinstein) ca. 55 W, die sich aus 3,44 A @ 12 V P4, 0,14 A @ 12 V, 2,01 A @ 5 V und 0,44 A @ 3,3 V ergeben. 8 Board ergeben einen Stromverbrauch von 28,6 A @ 12 V, 16,1 A @ 5 V und 3,52 A @ 3,3 V. Zusammen sind das 435 Watt.

Edit: Die CPUs laufen mit Referenztakt 232 MHz, also 2436 MHz CPU-Takt jeweils.

Als Netzteil habe ich ein Seasonic S12 Energy+ 650 W gewählt. Das hat 52A @12V, 30A @5V und 24A @3,3V. Außerdem hat das Netzteil zwei 6pol PCIe, einen 8pol EPS und einen 4pol P4Stecker, das wird noch wichtig.
Das Netzteil könnte noch mehr Boards versorgen aber beim Start der Boards treten leider Stromspitzen von bis zu 3,2 A auf der 5 V Leitung auf und das sind, da ja alle Boards gleichzeitig starten, dann schon 25,6 A. Das Netzteil kann laut Spezifikation nur 30 A und 25,6 sind da schon recht nahe dran. Ich weiß nicht wie weit man den Netzteilherstellern trauen kann mit Ihren Angaben.

Was man sonst noch braucht:

eine Leiterplatte 2,5 mm Streifenraster, 1 mm Bohrung (Elektronikladen)
mehrere ATX-Kabel, hab ich mir von kaputten Netzteilen abgeschnitten, Computerläden sind froh wenn ihnen einer die Entsorgung kaputter Netzteile abnimmt.
mehrere P4 Kabel, auch von kaputten Netzteilen
einen 24pol auf 20pol ATX-Adapter, man braucht davon nur die 24pol oder 20pol Buchse
zwei 6pol PCIe-Verlängerungen, werden wieder nur die Buchsen gebraucht
eine P4 Verlängerung, wieder nur die Buchse
einen Lötkolben, Lötzinn, Messer, Saitenschneider, Abisolierzange, ...
einen 1,3 mm Bohrer um die 1 mm Bohrungen auf der Leiterplatte zu erweitern

Durchführung:

Der Aufbau der Verteilung auf der Leiterplatte ist eigentlich recht simpel, erfordert nur etwas Geschick und Ausdauer beim Löten. Das verwendete Board braucht nur einen 20pol ATX Stecker und den P4 Stecker zum Betrieb. Das heißt, man muss diese Leitungen nur entsprechend ihrer Funktion (12 V, 5 V, usw) zusammenlöten. Dabei kann man ein wenig zusammenfassen weil ja auf den 3,3 und 5 Volt Leitungen nicht so viel los ist. Ich habe es so gemacht, dass alles für die ATX Kabel aus der ATX Buchse kommt und die P4 Kabel von den PCIe, der 8pol EPS und der P4 Buchse versorgt werden.
Da so eine Leiterplatte nicht all zu viel Strom verträgt, habe ich die ATX Buchse und die 8pol EPS Buchse mittig angeordnet und die Abgänge für die ATX Kabel sind dann links und recht davon. Bei den P4 Kabel sind dann außen noch die PCIe und die P4 Buchse angelötet.

Die Kabel vom Netzteil gehen also zu der Leiterplatte von der dann die Kabel zu den einzelnen Boards gehen. Man muss nur wissen, welche Kabel/Pins man weiterleiten muss und welche nicht!!! Da hilft ein Blick in die ATX-Norm oder Wikipedia.
Zum Beispiel den Kontakt (Pin 14) der das Netzteil anschaltet. Den habe ich nur vom Hauptmainboard zum Netzteil geführt. Bei den anderen Boards ist der nicht belegt bzw. das entsprechende Kabel abgeschnitten. Wenn man dem Hauptmainboard per ATX-schalter anschaltet (Pin 14 auf Masse legt), sagt das Board das per ATX dem Netzteil weiter und das geht dann an. Die anderen Boards sind so eingestellt, dass sie automatisch angehen, wenn sie Strom bekommen.

Bemerkungen:

Ich habe mich langsam an die 8 Boards ran getastet und zunächst mit 2 Boards angefangen. Da kann man aber auch einen ATX-Y-Verteiler benutzen (siehe Links). Beim ersten mal einschalten hatte ich auch erwartet, dass mir die ganze Bude abfackelt. Am Anfang musste ich noch gelegentlich nachhelfen damit es auch lief. Jetzt läuft es zuverlässig mit erstmal 6 Boards, die restlichen 2 werden momentan noch woanders gebraucht und später hinzugefügt.

Edit: Verbrauch mit 6 Boards bei Volllast (12xQMC) ca.380 Watt, gemessen mit einem "Brennenstuhl PM230" Verbrauchsmessgerät. Das Gerät scheint aber ungenau zu messen - gleicher Verbrauch bei Lehrlauf und Vollast?!

Edit: Die Konstruktion laeuft jetzt im Vollausbau, also mit 8 Boards. Verbrauch an der Steckdose: 525 W.
Momentaner Ertrag: ca. 11 000 Punkte am Tag bei Einstein@home

Links:

ATX Y-Verzweiger:
http://www.power-on.com/connectors-adapters.html
http://www.netzgeraet.de/pc_-_netzteile_pc_netzteiladapter.htm

PCIe-Verlängerung:
http://www.hardware-rogge.com/Kabel-Adapter/Adapter/6-Pin-Verlaengerung-6cm::3380.html
http://www.airbrushtower.de/shop/index.php?main_page=product_info&products_id=721

Software:
BOINCPE per netzwerk booten und auf netzlaufwerk boinc rechnen
Wer Fragen oder Anregungen hat: immer her damit.

hollyhart

edit: Bild:


edit:Vollausbau:

Das klingt wirklich gut.
Allerdings dürfte das anfahren der Boards sehr stressig für das Netzteil sein. Kann man da u.U. mit dicken Kondensatoren puffern?


Hast du Fotos von der Aktion und vom Ergebnis? Immer her damit.

Gute Idee
Vielleicht baue ich mir im Frühjahr mal ein kleines Cluster, bestehend aus drei Mobos mit jeweils Phenom 9100e (kommt in Kürze auf den Markt) bestückt.
Dann hätte ich ein 12-Core System mit ca. 330 Watt Verbrauch ... das wären bei 1,8 Ghz CPU Takt insgesamt 21,6 Ghz für 330 Watt 8) .

Nette Anregung @ Holly!
Danke dafür!

Tach,
ich habe nur Bilder die mit einer handy-Kamera gemacht wurden, einmal mit 3 Boards und einmal mit 6 Boards.
Werde mir aber mal eine richtige Kamera ausborgen um noch ein paar schoene Bilder zu machen, auf denen man auch Details erkennen kann.

hollyhart schrieb:

Tach,
ich habe nur Bilder die mit einer handy-Kamera gemacht wurden, einmal mit 3 Boards und einmal mit 6 Boards.
Werde mir aber mal eine richtige Kamera ausborgen um noch ein paar schoene Bilder zu machen, auf denen man auch Details erkennen kann.

Zum Vergrößern anklicken....

Sieht nett aus. Jetzt nur noch eine kleines Regal dafür gebaut, damit dass Cluster anständig verstaut ist .
Wäre natürlich der Hammer, wenn statt 2x 2Cores z.B. 4x 4Cores werkeln würden 8) .

MGeee schrieb:

Sieht nett aus. Jetzt nur noch eine kleines Regal dafür gebaut, damit dass Cluster anständig verstaut ist .
Wäre natürlich der Hammer, wenn statt 2x 2Cores z.B. 4x 4Cores werkeln würden 8) .

Zum Vergrößern anklicken....

Ja nach einem passendem Gehäuse suche ich noch.
Leider kann das MSI Board keine Quads, das wuerde aber auch das Netzteil nicht mitmachen.

Wofür ein Gehäuse? Einfach mit Gewindestangen alle Boards übereinander platzieren...

Geile Idee! Ich erinner mich noch dunkel an den Thread, in dem du die ganze Sache theoretisch durchgedacht hattest... aber gratuliere, ist an sich echt eine super Sache. Sieht man mal zu was ein aktuelles Netzteil in der Lage ist.

NOFX schrieb:

Wofür ein Gehäuse? Einfach mit Gewindestangen alle Boards übereinander platzieren...

Zum Vergrößern anklicken....

Naja, ich haette doch ganz gerne ein wenig metall drumrum. seit ich das so offen liegen habe ist der Radioempfang in der Nähe nicht mehr so besonders...

D'Espice schrieb:

Geile Idee! Ich erinner mich noch dunkel an den Thread, in dem du die ganze Sache theoretisch durchgedacht hattest... aber gratuliere, ist an sich echt eine super Sache. Sieht man mal zu was ein aktuelles Netzteil in der Lage ist.

Zum Vergrößern anklicken....

Das war zu QMC-Verteidigungszeiten. Da existierte die Konstruktion schon zum Teil. Ich wollte nur nicht damit "angeben" bevor es auch wirklich funktioniert.

Mach mal mehr Bilder davon und nen Schaltplan.
Suche schon seit längerem nach so einer Lösung, die Y-Verzweiger hatte ich schon gefunden, aber für den Rest nichts brauchbares gefunden.

Hallo hollyhart

Schöne Konstruktion. Schon beeindruckend was mit nur einem Netzteil geht!

Habe in deinem QMC-Profil gesehen dass auf den BE Windows XP läuft, kann auf den Bildern aber keinerlei Massenspeicher entdecken. Wie bootest du die Kisten?

Für nur 2 Rechner würde theoretisch ein Y-Verteiler für den ATX-Strang reichen?

koschi schrieb:

Hallo hollyhart

Schöne Konstruktion. Schon beeindruckend was mit nur einem Netzteil geht!

Habe in deinem QMC-Profil gesehen dass auf den BE Windows XP läuft, kann auf den Bildern aber keinerlei Massenspeicher entdecken. Wie bootest du die Kisten?

Zum Vergrößern anklicken....

Zur Software wollte ich einen eigenen Bericht verfassen, jetzt nur soviel:
Gebootet wird ein BoincPE Image per Netzwerk von einenm Linux-Server. In dem steckt im Moment noch das Board fuer Node8. Das BoincPe verbindet sich dann mit einem Win-Server auf dem die Boinc-Verzeichnisse liegen.

REM!X schrieb:

Mach mal mehr Bilder davon und nen Schaltplan.
Suche schon seit längerem nach so einer Lösung, die Y-Verzweiger hatte ich schon gefunden, aber für den Rest nichts brauchbares gefunden.

Zum Vergrößern anklicken....

Schaltplan ist eigentlich nicht notwendig. Schau mal auf:
http://de.wikipedia.org/wiki/ATX-Format bei Pinbelegung
Man muss nur die Pins miteinander verbinden, also +12 V zu +12V, Masse zu Masse. Nur Pin 14 darf nur vom Hauptmainboard zum Netzteil gehen. Im Moment macht das bei mir eine Krokodilklemme, ist halt noch nicht sehr professionell.

feine sache

hab schon bei meinen beiden q6600 über so eine lösung nachgedacht, hab zur zeit nur kein netzteil, dem ich das zutrauen würde,

aber schön zu sehen, das es da sogar atx-y-adapter gibt, das wird mir dann ne menge löterei ersparen

Mit den ganzen "kleinen" Leitungen wie -12V etc. gibts auch keine Probleme? Ich weiß allerdings nicht, ob die heute überhaupt noch sinnvoll genutzt werden...

Endlich hat es mal jemand umgesetzt...

Ich kam leider über die Theorie nie heraus, danke geht also doch

Emploi schrieb:

Ich kam leider über die Theorie nie heraus...

Zum Vergrößern anklicken....

...dank einer vorhandenen sammlung an 12v akkus hatte ich sogar eine theorie, mit diesen die boards zu versorgen und das ganze mit ein paar solarmodulen auf dem dach zu speisen, dann hab ich mich über solarmodulpreise informiert ... theoretisch wars ja eine gute idee

NOFX schrieb:

Mit den ganzen "kleinen" Leitungen wie -12V etc. gibts auch keine Probleme? Ich weiß allerdings nicht, ob die heute überhaupt noch sinnvoll genutzt werden...

Zum Vergrößern anklicken....

Die "kleinen" Leitungen habe ich nicht vermessen, sollte ich vielleicht mal tun. Da es funktioniert würde ich sagen es gibt keine Probleme.

Lucky Loser schrieb:

...dank einer vorhandenen sammlung an 12v akkus hatte ich sogar eine theorie, mit diesen die boards zu versorgen und das ganze mit ein paar solarmodulen auf dem dach zu speisen, dann hab ich mich über solarmodulpreise informiert ... theoretisch wars ja eine gute idee

Zum Vergrößern anklicken....

Es gibt auch diese Pico ATX-Netzteile die sollen auch sehr effizient sein.

Ihr seit ja net mehr normal


Gruss von Daniel

DanielGraf schrieb:

Ihr seit ja net mehr normal ...

Zum Vergrößern anklicken....

Danke

@Lucky Loser

Auf http://www.tomshardware.com/de/Solar-PC-Anlagenaufbau-Energiesparen,news-239786.html

haben sie mal so einen SolarPC gebastelt, allerdings reichte der gerade so zum "rumideln", wenn ich es recht in Erinnerung habe...

An DC war gar nicht zu denken. Obwohl es schon cool wäre: Für mich rechnet die Sonne... etc..

Emploi schrieb:

An DC war gar nicht zu denken. Obwohl es schon cool wäre: Für mich rechnet die Sonne... etc..

Zum Vergrößern anklicken....

... auch auf die gefahr hin, noch stärker in die "krank" ecke gedrängt zu werden ...
ich hab auch noch eine weitere theorie, da steht im selben raum wie die brettrechner auch ein crosstrainer, wenn man den nun irgendwie umbauen würde, das er strom aus der "bremsenergie" macht, dann hätte das gleich 2 vorteile
- stromsparen
- was für die gesundheit tun ( solange es nicht ausartet *g* )

Lucky Loser schrieb:

... auch auf die gefahr hin, noch stärker in die "krank" ecke gedrängt zu werden ...
ich hab auch noch eine weitere theorie, da steht im selben raum wie die brettrechner auch ein crosstrainer, wenn man den nun irgendwie umbauen würde, das er strom aus der "bremsenergie" macht, dann hätte das gleich 2 vorteile
- stromsparen
- was für die gesundheit tun ( solange es nicht ausartet *g* )

Zum Vergrößern anklicken....

Wieso Krank ... ich würde das mit dem Crosstrainer als recht gesund einstufen ... vorne noch nen 12/15" TFT mit Touchscreen worüber du die Farm administrierst ...

Was du brauchst ist eigentlich nur nen dynamo und genug Muskelschmalz in den Waden ...

NOFX schrieb:

Mit den ganzen "kleinen" Leitungen wie -12V etc. gibts auch keine Probleme? Ich weiß allerdings nicht, ob die heute überhaupt noch sinnvoll genutzt werden...

Zum Vergrößern anklicken....

Die -12V kann man weglassen, braucht nur die PCI-Spezifikation. (Natürlich keine Haftung für Ausnahmen).

Viel mehr Sorgen mache ich mir bei sowas um die "Power Good". Wurde die hier auch verteilt oder geht die nur zum Hauptbrett?


Für Nachbastler:
Es gibt neben Streifenraster auch blanke Platinen, die man normalerweise zum Ätzen benutzt. Für so ein Projekt tut es allerdings auch ein Dremel oder eine Fräse. (letzeres wird inzwischen auch in der Industrie oft dem Ätzvorgang vorgezogen)
Da kann man die Leiterbahnen auch schön breit machen bzw. verzinnen und hat wenig Probleme auch bei hohem Strom.

Man sollte auch erwähnen, dass nicht jedes Board startet, wenn man einfach Saft drauf gibt.

MfG Micha

migmicha schrieb:

Viel mehr Sorgen mache ich mir bei sowas um die "Power Good". Wurde die hier auch verteilt oder geht die nur zum Hauptbrett?

Man sollte auch erwähnen, dass nicht jedes Board startet, wenn man einfach Saft drauf gibt.

MfG Micha

Zum Vergrößern anklicken....

... soweit ich das verstehe, müsste der anschluss dem board eigentlich nur mitteilen, das aktuell stabile spannungen vom nt geliefert werden,
also sollte der auch auf alle boards gebracht werden, weil sonst vllt der 2. satz oben eintritt ?
frage wären dann noch die belastbarkeit und wieviel strom so ein board da zieht
( könnte mir vorstellen, das ein nt da nur ein paar milliampere rausgibt )

Strom, praktisch gar nichts. Mit 08/15-Multimeter nicht bis kaum messbar.
Mit einem guten 200€ Gerät hatte ich da eine stabile Anzeige, aber auch nichts weiter.

Man kann die meiner Erfahrung nach auch weglassen, bei meinen Testboards starteten alle. Nur nachträgliches Überbrücken führte zum Abschalten des Netzteils.

Über die funktion kann man sich vielleicht mehr erklären, wenn man sich das Datenblatt vom TL7705 bzw. dem TL7712 ansieht.
Den TL7705 habe ich auch benutzt um aus einem 5V/12V-NT ein ATX zu machen. 12V war mir unwichtig, so ein K6 braucht da (fast)nichts.

MfG Micha

Zur Software wollte ich einen eigenen Bericht verfassen, jetzt nur soviel:
Gebootet wird ein BoincPE Image per Netzwerk von einenm Linux-Server. In dem steckt im Moment noch das Board fuer Node8. Das BoincPe verbindet sich dann mit einem Win-Server auf dem die Boinc-Verzeichnisse liegen.

Zum Vergrößern anklicken....

bin ich schon sehr darauf gespannt, weil ich vor dem gleichen problem stehe