AMD EPYC 7V12 in der Planet 3DNow! Community

Das Dis­tri­bu­ted-Com­pu­ting-Team gibt es seit 2000 in der Com­mu­ni­ty von Pla­net 3DNow! Damals mach­ten wir bei SETI@Home Jagd auf das Intel-Team. In die­sen 20 Jah­ren hat sich viel getan. Aus SETI-Clas­sic ent­stand BOINC und damit zahl­rei­che wei­te­re Pro­jek­te aus Astro­no­mie, Bio­lo­gie und Mathe­ma­tik, bei denen sich unser Team ein­brin­gen konn­te. Nur im dunk­len Käm­mer­lein still vor sich hin rech­nen, das war nie unser Ding und so stellt sich Pla­net 3DNow! Jahr für Jahr auch etli­chen Wett­kämp­fen im Dis­tri­bu­ted-Com­pu­ting-Bereich, wo der BOINC-Pent­ath­lon sicher­lich das High­light des Jah­res dar­stellt. Kein Team war in den letz­ten 11 Jah­ren seit Bestehen des Wett­kampfs erfolg­rei­cher als unser klei­ner ein­ge­schwo­re­ner Haufen.

Aller­dings merk­te man spe­zi­ell in die­sem Jahr, aber auch schon ein, zwei Jah­re davor, dass die ande­ren Teams in Sachen Hard­ware auf­ho­len und wir Defi­zi­te bei der schie­ren Rechen­leis­tung hat­ten. Wer die Com­mu­ni­ty kennt, weiß, dass wir das so nicht auf uns sit­zen las­sen kön­nen. Eini­ge haben bereits ordent­lich auf­ge­rüs­tet und bei­spiels­wei­se ihre alten Bull­do­zer-Maschi­nen gegen Zen-Boli­den getauscht. Bereits beim Tausch “8‑Kern-Bull­do­zer gegen 8‑Kern-Zen” macht die Rechen­leis­tung einen ordent­li­chen Satz nach vor­ne. Doch im AMD-Sor­ti­ment fin­den sich ja noch ganz ande­re Per­len, die in einer völ­lig ande­ren Liga spielen.

AMD EPYC 7V12 — Die CPU stellt sich vor

Betrach­tet man das offi­zi­el­le AMD-EPYC-Port­fo­lio, fin­det man den EPYC 7V12, wie auch ande­re Cus­tom-Parts (jene mit einem Buch­sta­ben an 2. Stel­le), erst ein­mal über­haupt nicht. Aber in unse­rer OPN-Lis­te und eini­ge ande­re Quel­len fin­det man das Modell. Micro­soft ver­wen­det den EPYC 7V12 in sei­nen Azu­re Cloud-Ser­vern. Und für Micro­soft ist oder bes­ser war die­se Cus­tom-CPU auch eigent­lich vor­ge­se­hen. Wo steht der EPYC 7V12 im Ver­gleich? An der EPYC-Spit­ze mit 64 Ker­nen und 128 Threads steht der­zeit der EPYC 7H12 mit 2,60 GHz Basistakt und 3,30 GHz Tur­bo­takt bei 280 W TDP — hier­zu gesel­len sich die neu­en Thre­ad­rip­per WS. Direkt dar­un­ter befin­den sich die EPYC 7B12 (Goog­le Cloud Ser­ver) und EPYC 7V12 jeweils mit 2,45 GHz Basistakt und 3,30 GHz Tur­bo­takt bei nur noch 240 W TDP. Erst dar­un­ter fol­gen­den die regu­lä­ren EPYC 7742 und 7702. Der EPYC 7V12 ist selbst­ver­ständ­lich Dual-Sockel-tauglich.

Bis­her wer­kel­te beim Autor die­ser Zei­len – eben­falls beken­nen­der DC-Unter­stüt­zer aus Lei­den­schaft – ein EPYC 7251, nach­dem ein EPYC 7742 lei­der aus Unge­schick bei der Mon­ta­ge sein Leben vor­zei­tig aus­ge­haucht hat. Der Wech­sel von EPYC 7251 auf EPYC 7V12 gestal­te­te sich recht ein­fach: Küh­ler run­ter, alte CPU raus, neue CPU rein, WLP drauf, Küh­ler drauf, fer­tig (ok etwas län­ger beim ers­ten POST warten).

Getes­tet wur­de vom Autor auf
— ASRock­Rack EPYCD8-2T/R32 mit BIOS 2.60
— AMD EPYC 7V12
— bequiet DARK ROCK PRO 4 TR4 mit 2 Lüftern
— bequiet 620W NT
— 8x16GB DDR4-2933 REG ECC CL22
— ASPEED BMC2500 IGP
— klei­ne 120GB SSD für Win­dows Tests
— alte 640GB HDD für Linux Tests
— 2 120er Lüf­ter (für Span­nungs­wand­ler und Datenträgerkühlung)

 

Und nun die übli­chen Ver­däch­ti­gen : AIDA, CPU‑Z & Co.

Auf­grund der Kon­fi­gu­ra­ti­on des Sys­tems läuft dies bei rund 61°C unter Voll­last — aber für den Autor nicht hör­bar; die Lüf­ter dre­hen dabei mit rund 1000/min, das Gesamt­sys­tem zieht rund 290 W aus der Steckdose.

AMD EPYC 7V12 — Die CPUs kom­men zu den Pla­net 3DNow! Usern

Per Zufall hat der Autor bei einem Groß­händ­ler in Über­see die­se CPUs gefun­den und nach kur­zem Über­le­gen einen bestellt. Intern im Forum wur­de spe­ku­liert und über­legt. Die meis­ten woll­ten erst ein­mal abwar­ten, ob dies auch funk­tio­niert, ob es Pro­ble­me mit den Boards oder Zoll gibt oder wo der Haken sei!

Wo gibt es den EPYC 7V12?
Der­zeit lei­der nur im Spe­zi­al­han­del in USA, aber zwei Team-Mit­glie­der haben trotz­dem wel­che bekommen.

Was kos­ten ein EPYC 7V12?
Dies ist der­zeit noch Ver­schluss­sa­che. Es ist jedoch ein sehr guter Preis, der eher im Bereich des hie­si­gen 32-Ker­ner lag und nicht eines 64-Kerner.

Wie ging es los mit den EPYC 7V12?
Bestellt wur­de die ers­te CPU am 27.07.2020 und erreich­te den Autor in Leip­zig am 06.08.2020, nach­dem 4 Tage lang nichts pas­sier­te (Feh­ler im Sys­tem beim Händ­ler) und ein klei­ner Exkurs von Leip­zig nach Ams­ter­dam und zurück für eine Zoll­ver­ar­bei­tung erfolg­te. Der P3D-User Thor­sam hat­te am 28.07.2020 auch wel­che bestellt. Sei­ne ers­ten bei­den CPUs wur­den direkt ver­sandt, gam­mel­ten aber gan­ze 5 Tage in Ams­ter­dam vor sich hin.

Der Rei­se­weg der CPUs ist aber auch etwas merkwürdig:
— vom Händ­ler nach Los Ange­les (DHL-Kreuz)
— von Los Ange­les nach Leip­zig (DHL-HUB)
— von Leip­zig nach Ams­ter­dam für Zollverarbeitung
— von Ams­ter­dam nach Leipzig
— von Leip­zig zum Kunden

Aber das ist wohl so gewollt – nicht dass es in und um Leip­zig kei­ne Zoll­äm­ter gäbe oder dass es kei­ne Flü­ge von Los Ange­les nach Ams­ter­dam gäbe! Intern wird der­zeit über­legt noch wel­che zu ordern…

Und wo ist nun der Haken? Es dau­ert halt etwas, bis die CPUs ein­tref­fen — gern auch mal 14 Tage.

AMD EPYC 7V12 — Die Pro­zes­sor-Affi­ni­täts­pro­ble­me unter Windows

Der ers­te EPYC 7V12 traf wider erwar­ten zuerst beim Autor die­ses Arti­kels statt beim P3D-User Thor­sam ein. Und da der Autor ein ein­ge­fleisch­ter Win­dows-User ist, erfolg­ten auch ers­te Tests ver­ständ­li­cher­wei­se unter Win­dows 10 (19042.388). Cine­bench und Co. machen mitt­ler­wei­le kei­ne Pro­ble­me, ande­re Din­ge jedoch schon. Bekann­ter­ma­ßen hat Win­dows so sei­ne Gren­zen. Eine Gren­ze ist die Pro­zes­so­raf­fi­ni­tät, d.h. die Zuwei­sung einer Auf­ga­be einem Pro­zes­sor­kern oder –thread mit­tels 64-Bit Wert. Mit 64 ein­zel­nen Bits kön­nen aber auch nur 64 Threads zuge­wie­sen wer­den und “lei­der” haben die gro­ßen EPYC nun mal 128 Threads.

Bei Intel hat­ten bis­her nur weni­ge CPUs die­ses Pro­blem, etwa Xeon Phi 7235 mit 64 Ker­nen und 256 Threads. Betrof­fen sind aber auch diver­se Quad- oder Mehr­so­ckel­sys­te­me. Win­dows selbst kann erst seit NT6.1 d.h. Win­dows 7 (mit Updates) über­haupt mit so vie­len Threads umgehen.

Der Lösungs­an­satz von Micro­soft ist der­zeit: Gleich­mä­ßi­ge Auf­tei­lung der Threads in Pro­zes­sor­grup­pen mit maxi­mal 64 Threads, sofern mehr als 64 Threads im Sys­tem sind. Vie­le moder­ne Anwen­dun­gen wur­den hier­für bereits vor­be­rei­tet wor­den, etwas Cine­bench R20.6, Hand­bra­ke oder neu­er­dings auch Blender.

Nur BOINC ist damit wei­ter­hin unter Win­dows über­for­dert, da die Ent­wick­ler von BOINC die­ses Pro­blem noch nicht ange­gan­gen sind. Dies führt dazu, dass BOINC bei einem EPYC 7V12 alle Tasks in einer Pro­zes­sor­grup­pe lau­fen lässt. 128 BOINC-Tasks, die sich auf 64 Threads der CPU tum­meln und 64 logi­sche Ker­ne der CPU unbe­nutzt las­sen. Bekannt und lei­der immer noch offen ist die­ses Pro­blem bei BOINC übri­gens seit 2013, als Vier-Sockel-Intel-Sys­te­me erst­mals die 64er Gren­ze durchbrachen.

Bis­he­ri­ge Lösungsansätze:
— per Hand den ein­zel­nen BOINC-Tasks meh­re­ren Pro­zes­sor­grup­pen zuweisen
— SMT deaktivieren
— BOINC inner­halb VMs auf Gast­sys­tem lau­fen lassen
— oder gleich ein ande­res Betriebs­sys­tem verwenden.
Letz­te­res hat sodann auch der Autor machen müssen

AMD EPYC 7V12 – Mit Linux weni­ger Probleme

Von meh­re­ren Sei­ten wur­de ein Wech­sel auf Linux emp­foh­len. Der Autor setzt daher als Linux-Neu­ling auf Kub­un­tu (20.04). Nach Neu­ein­rich­tung des Sys­tems läuft nun­mehr BOINC unter Kub­un­tu und knus­pert sich flei­ßig durch die Work­u­nits. Man­gels erfor­der­li­chem Wis­sen kann der Autor jedoch kei­ne Tests/Benchmarks unter Linux machen. Die wer­den nach­ge­lie­fert, sobald Thor­sam mit sei­nen EPYCs fer­tig ist…

AMD EPYC 7V12 – Unter BOINC für P3D

In Anbe­tracht des schlech­ten Abschnei­dens beim dies­jäh­ri­gen Pent­ath­lons – ein nicht wirk­lich hin­nehm­ba­rer Drit­ter Platz 😉 – ist erheb­li­ches Auf­rüs­ten erfor­der­lich. Als Anhän­ger von P3D, einer Web­sei­te von und für AMD-User, war es auch klar — es muss fet­te neue AMD CPU-Power her. Halt etwas “epy­sches”!

Der AMD EPYC 7V12 ist die zweit­größ­te EPYC Aus­bau­stu­fe die man der­zeit so bekom­men kann. Und der Auf­preis vom EPYC 7V12 zum EPYC 7H12 ist ein­fach viel zu groß. Der Unter­schied zum EPYC 7742 spricht dage­gen für den EPYC 7V12. Daher kom­men somit die EPYC 7V12 zum Ein­satz. Mit 64 Ker­nen und 128 Threads pro CPU kann man sei­ne Rechen­leis­tung schon etwas “ryzen” (sor­ry für das Wort­spiel). Die Aus­beu­te an CPU-Cre­dits des EPYC 7V12 vari­iert je nach Pro­jekt, Anwen­dung, Work­unit­un­ter­art, Betriebs­sys­tem aber nur so viel: Unter Linux bei yoyo@home ECM kom­men täg­lich rund 200.000 bis 260.000 Cre­dits mit einem EPYC 7V12 heraus.

Für den nächs­ten Pent­ath­lon sind somit wie­der eini­ge Über­ra­schun­gen bei Pla­net 3DNow! mög­lich, ins­be­son­de­re, da wir nun dicke EPYCs aus der im Team seit Jah­ren legen­dä­ren “Sofa­rit­ze” zie­hen kön­nen. Auch für ande­re BOINC-Events dürf­te somit bald reich­lich fri­sche CPU-Power bereitstehen.

AMD EPYC 7V12 – Ein Upgrade für Das Boot?

Es ist auch sehr ver­lo­ckend, den Ser­ver von Pla­net 3DNow!, lie­be­voll “Das Boot” genannt, mit einem EPYC 7V12 zu erneu­ern. Der­zeit arbei­tet hier nur ein klei­ner EPYC 7351P. Die aktu­el­le Aus­las­tung liegt laut unse­rem Admin jedoch in der Regel bei unter 3%. Die­se Auf­rüs­tung wäre somit eigent­lich nicht not­wen­dig. Es wäre ein tota­ler Over­kill. Aber eben ein Over­kill mit Stil!

Mach­bar wäre es und wür­de eini­ge Vor­tei­le mit sich bringen:
EPYC 7V12 ggü EPYC 7351P
— Zen 2 statt Zen 1
— 4x so vie­le CPU-Kerne
— 4x so vie­le Threads
— 4x so viel L3-Cache
— rund 20% mehr IPC
— etwas mehr Takt
bei gera­de mal 40% mehr Strom­ver­brauch bei Voll­last jedoch gerin­ge­rer Ver­brauch bei Teillast.

Fol­ge eines Upgrades: Schaf­fung eines Forum-Ser­vers mit aus­rei­chend Reser­ven, um auch hier und da mal ein paar BOINC-Instan­zen mit­lau­fen zu las­sen. Aller­dings wür­de “Das Boot” für eini­ge Zeit ins Tro­cken­dock müs­sen, Sta­bi­li­täts­tests usw. und wir hat­ten gera­de erst für über 2 Tage War­tung wegen des Foru­mup­grades.

Nur gibt es da noch ein Pro­blem für ein mög­li­ches Upgrade: Das ver­wen­de­te Super­mi­cro-Main­board im Ser­ver lei­det, wie vie­le “alte” EPYC-Boards, unter einem 16MB BIOS-Chip, sodass ent­we­der nur ein Nap­les oder nur ein Rome AGESA-PI rein­passt. Der Her­stel­ler bie­tet jedoch der­zeit nur die Nap­les-BIOS hier­für an. Anders als z.B. ASUS, die auch einen Upgrade­pfad für 16MB BIOS-Chip-Boards bereitstellen.

Aber auch an die­sem Pro­blem wird im Forum bereits getüf­telt, da es in der Ser­ver­com­mu­ni­ty gelun­gen ist, ein Dual-Sockel-Main­board von Super­mi­cro mit 16MB Chip für Rome start­klar zuma­chen. Dies heißt jedoch (noch) nicht, dass Pla­net 3DNow! dem­nächst auf einen 64 Kern / 128 Thread EPYC 7V12 wech­selt, son­dern nur, dass wir es (wahr­schein­lich) könn­ten wenn wir wollten!

AMD EPYC 7V12 — Fazit

Hat sich der gan­ze Auf­wand und der Stress über­haupt gelohnt? Der Autor kann nur für sich selbst sprechen:
— ich habe nun eini­ge graue Haa­re mehr
— die Rei­se­rou­te kann ich nicht nachvollziehen
— diver­se Win­dows-Anwen­dun­gen inkl. BOINC-Kern (boinc.exe) benö­ti­gen da noch etwas Optimierung

Pro:
— 64 Ker­ne / 128 Threads zu unschlag­ba­rem Preis
— lie­fen auf Anhieb im Board auch wenn die­se ver­ständ­li­cher­wei­se nicht in der Sup­port­lis­te stehen

Kon­tra:
— die CPUs kom­men als Tray vom Händ­ler — hat man also etwas mehr Arbeit, wenn mal etwas nicht geht

Ergeb­nis: Aber sicher hat sich der Kauf gelohnt, auch wenn es anfangs im Forum noch eini­ge Befürch­tun­gen gab, der Stunt könn­te schiefgehen.

Das nächs­te BOINC-Event kann somit kommen.