News Neuer Artikel: GPU Computing - Review und Analyse

<center><img src="http://www.planet3dnow.de/photoplog/file.php?n=8783&w=o" alt="" border="1"></center>

Bereits vor knapp einem Jahr konnten wir Gipsel, Mitglied in unserem Distributed Computing Team und mittlerweile Urheber etlicher GPGPU-Anwendungen in verschiedenen DC-Projekten, motivieren einen ausführlichen <a href="http://www.planet3dnow.de/vbulletin/showthread.php?t=362621">Theorie-Artikel über GPGPU-Computing zu schreiben</A>. Wer den Artikel noch nicht kennt oder mit GPGPU-Computing bisher nichts anfangen konnte, dem sei der Artikel noch einmal wärmstens empfohlen.

Heute nun kommt eine weitere Koryphäe aus unserem DC-Team zu Wort: indiana_74, der über Jahre hinweg die Koordination des <a href="http://www.planet3dnow.de/vbulletin/showthread.php?t=303678">Planet 3DNow! Clusters für Distributed Computing</a> übernommen hatte, um Rechenleistung für verschiedene Projekte, in denen Planet 3DNow! mit einem Team vertreten war, zu bündeln.

Der heutige Artikel befasst sich allerdings nicht mit der Theorie, sondern mit der Praxis. Drei aktuelle ATI-Karten mussten gegen drei NVIDIA-Karten antreten und in verschiedenen Distributed-Computing Projekten zeigen, zu welchen GPGPU-Leistungen sie im Stande sind:<ul><li><a href="http://www.planet3dnow.de/vbulletin/showthread.php?t=375718"><b>GPU Computing - Review und Analyse </b></a></li></ul>Viel Spaß beim Lesen...

wirklich netter artikel

Leider ist nicht vermerkt, dass die ATI 5770 noch nicht von distributed.net (Artikel S.15) voll unterstützt wird, daher auch das aktuell schlechtere Abschneiden. Sie hat nämlich das Potential bis auf

Domain 808x808, 3 iters @ 11.804559 ms (663673 Kkeys/sec) bzw 663 Mkeys

zu skalieren.

Erstaunlicherweise lieferte eine ATI 5870 bis zur vollen Unterstützung auch "nur" ca 400 MKeys. Jetzt liefert sie aktuell 1.276 Mkeys.

....Einzig mögliche Erklärung: Das deutlich langsamere Speicherinterface ist der Flaschenhals....

Zum Vergrößern anklicken....

Nein, einzig richtige Erklärung ist:

die Arraygröße, die zum Entschlüsseln verwendet wird, wurde nicht optimal gewählt. Dies führt leider dazu, dass die Auslastung aller 800 Shader nicht immer stattfindet.

Domain 8x8, 230 iters @ 2.920319 ms (20162 Kkeys/sec)
Domain 16x16, 1555 iters @ 14.877662 ms (107027 Kkeys/sec)
Domain 24x24, 1553 iters @ 14.787505 ms (241968 Kkeys/sec)
Domain 32x32, 1569 iters @ 15.125273 ms (424893 Kkeys/sec)
Domain 40x40, 1265 iters @ 14.876036 ms (544231 Kkeys/sec)
Domain 48x48, 961 iters @ 14.928475 ms (593267 Kkeys/sec)

Danke für den Artikel Indiana_74!

Moore's Law ist ein "Gesetz" im Umfeld der Datenverarbeitung, welches vor vielen Dekaden beschrieben wurde. Es besagt, dass sich die Komplexität integrierter Schaltungen alle zwei Jahre verdoppelt, während die Komponentenkosten sich nur minimal verändern. Hierdurch würde sich die Anzahl der Transistoren auf der selben Fläche verdoppeln und damit die verfügbare Rechenleistung ebenfalls um den Faktor Zwei steigen.

...

Doch während dieser Anstieg linear ist, hat sich etwas grundlegendes verändert. ...

Zum Vergrößern anklicken....

aber eine Verdoppelung der Rechenleistung alle zwei Jahre entspricht keinem linearen Anstieg!


MfG @


PS

Könnte man das nicht mal ändern, dass man bei solchen Artikeln nicht dem Autor danken kann?

erstmals danke an alle die da mitgewirkt habe!!

Das ist einfach genial was hier angeboten un dverständlich gemacht wird.
Alles hab ich verstanden nur eins nicht.
Bei F@H. Ich hab das so verstanden das der Client die GPU nicht so richtig erkennt. oder versteht mein Gehirn was anders. Ich habs 2x nocrmal und 1x rückwerts gelesen und komm eimmer auf das gleiche.

Leicht verständlicher Artikel imho.
Gut gemacht.
Darfst du die Grakas eigentlich nun behalten?

auch ein Dankeschön von mir
ein gut geschriebener und verständlicher artikel

@heavyiron@boinc
na das wollen wir doch hoffen

danke für die erklärung der einzelnen projekte.

was ich mich aber frage wenn die leistung unter folding@home relativ schlecht bei atis ist. warum dieser client beim catalyst dabei ist. ich hoffe opencl wird bald unterstützt. aktuell rechnet mein rechner nicht mehr für p3d oder andre teams. bei ordentlicher programmen kann ich mir aber vorstellen wieder bei folding einzusteigen.

nen verschlüsselung zu knacken oder irgendwelche zahlenfolgen die auf 4,2,1 enden halte ich nicht für so wichtig, auch wenn die zusammenhänge oder das thema an sich interessant sind.

Lanisa schrieb:

wirklich netter artikel

Leider ist nicht vermerkt, dass die ATI 5770 noch nicht von distributed.net (Artikel S.15) voll unterstützt wird, daher auch das aktuell schlechtere Abschneiden. Sie hat nämlich das Potential bis auf

Domain 808x808, 3 iters @ 11.804559 ms (663673 Kkeys/sec) bzw 663 Mkeys

zu skalieren.

Erstaunlicherweise lieferte eine ATI 5870 bis zur vollen Unterstützung auch "nur" ca 400 MKeys. Jetzt liefert sie aktuell 1.276 Mkeys.



Nein, einzig richtige Erklärung ist:

die Arraygröße, die zum Entschlüsseln verwendet wird, wurde nicht optimal gewählt. Dies führt leider dazu, dass die Auslastung aller 800 Shader nicht immer stattfindet.

Domain 8x8, 230 iters @ 2.920319 ms (20162 Kkeys/sec)
Domain 16x16, 1555 iters @ 14.877662 ms (107027 Kkeys/sec)
Domain 24x24, 1553 iters @ 14.787505 ms (241968 Kkeys/sec)
Domain 32x32, 1569 iters @ 15.125273 ms (424893 Kkeys/sec)
Domain 40x40, 1265 iters @ 14.876036 ms (544231 Kkeys/sec)
Domain 48x48, 961 iters @ 14.928475 ms (593267 Kkeys/sec)

Zum Vergrößern anklicken....

Vielen Dank für deine Ausführungen, dieser Umstand war mir nicht bekannt.
Dem Readme der aktuellen distributed.net Version kann man leider nur entnehmen das der Catalyst 9.9 unterstützt wird, da wären ja aber beide aktuelleren Karten noch nicht enthalten.

Ich werde dann demnächst, wenn die 5770 voll unterstützt wird, mal einen Nachtest machen. Evtl. im Zusammenhang mit dem Fermi Test.

Makso schrieb:

Bei F@H. Ich hab das so verstanden das der Client die GPU nicht so richtig erkennt. oder versteht mein Gehirn was anders. Ich habs 2x nocrmal und 1x rückwerts gelesen und komm eimmer auf das gleiche.

Zum Vergrößern anklicken....

Der Aktuelle Folding@home GPU Client erkennt die ATIs nicht als GPU und bricht dann ab.
Erst durch setzen des -forcegpu Flags beim Start lasst er sich zur Mitarbeit überreden, das ist eher Suboptimal und das Ergebnis spricht ja dann auch für sich.

heavy-Ions@boinc schrieb:

Leicht verständlicher Artikel imho.
Gut gemacht.
Darfst du die Grakas eigentlich nun behalten?

Zum Vergrößern anklicken....

Na ja, zwei waren eh von mir und die drei Nvidias sind schon wieder weg.

Der Intelmitgründer Gordon Moore schrieb lediglich über die Verdopplung der Anzahl der Transistoren pro Flächeneinheit bei annähernd gleichen Kosten in einem bestimmten monatlichen Zeitintervall. Sein nach ihm genanntes "Gesetz" ist keine Prognose zur Verdopplung der Rechenleistung um Faktor 2.
Es ist also eher ein ökonomisches Gesetz im Halbleiterbereich.

Das hat er schon deswegen vermieden so auszusagen, weil er damals ein anderes "Gesetz" ahnte. Amdahls Gesetz. Welches in etwa besagt, dass mit zunehmender Komplexität der Schaltung die Rechenleistung nicht gleichartig steigt, sondern relativ sogar abnimmt.

Um also eine Verdopplung der Rechenleistung zu erreichen, ist der Transistor-Aufwand größer als Faktor 2 notwendig.
Gene Amdahl hat hier ein Gesetz zur ständig wachsenden Rechenleistung von Chips und Prozessoren im Halbleiterbereich gewagt, wenngleich dieses Gesetz auch immer wieder neu bewertet und betrachtet werden muss.

Zum Artikel. Nur weil die Autoren kaum professionelle Programme nutzen, die die GPGPU-Fähigkeiten ausnutzen, bedeutet das nicht, dass es keine "Relevanten Programme" gäbe. Im Bereich von Molekularer IT-Biochemie wird so etwas eingesetzt, genauso wie in Klima- und Geowissenschaften zur Simulation und Auswertung. Da aber die Programme/Module richtig viel Geld kosten können, sind Benchmarks in diesem Bereich "nicht mal so eben" zu machen.

Relevanz ist daher relativ. Spezielle Fachwissenschaften sehen schon eine "Relevanz", wenn es sich der GPGPU-Ansatz lohnt, gegenüber Lösungen mit vernetzten klassischen Prozessoren im Grid.
Für den Standard-PC-Nutzer sehe ich zur Zeit auch noch wenig Relevanz, bis auf wenige Spezialfilter im Foto- und Video-Bereich.
Mit Windows 7 (und Vista) ändert sich das aber potenziell, weil Microsoft eine eigene GPGPU-Schnittstelle einführt, in Konkurrenz zu OpenCL und insbesondere den Proprietären Schnittstellen von AMD/ATI (Stream) und Nvdia (CUDA).

MFG Bobo(2010)

Bobo_Oberon schrieb:

Nur weil die Autoren kaum professionelle Programme nutzen, die die GPGPU-Fähigkeiten ausnutzen, bedeutet das nicht, dass es keine "Relevanten Programme" gäbe. Im Bereich von Molekularer IT-Biochemie wird so etwas eingesetzt, genauso wie in Klima- und Geowissenschaften zur Simulation und Auswertung.

Zum Vergrößern anklicken....

Ich denke, dass im Artikel ziemlich deutlich steht "für Endkunden relevante Anwendungen". Was Du beschreibst, sind keine Endkunden-Anwendungen. Der Artikel wurde sicherlich nicht für die 2 Molekular-Biologen und die 3 Mitarbeiter eines Klimaforschungsinstituts geschrieben, die Planet 3DNow! täglich im Auftrag ihres Brötchengebers lesen

Dr@ schrieb:

aber eine Verdoppelung der Rechenleistung alle zwei Jahre entspricht keinem linearen Anstieg!

Zum Vergrößern anklicken....

Äh kommt darauf an, was man an die y-Achse schreibt...wenn man die Anzahl der Transistoren nimmt, ist es sicherlich nicht linear, sondern nur in der logarithmischen Darstellung linear. Schreibst du die Integrationsdichte dran, ist es linear.

KIDH schrieb:

Äh kommt darauf an, was man an die y-Achse schreibt...wenn man die Anzahl der Transistoren nimmt, ist es sicherlich nicht linear, sondern nur in der logarithmischen Darstellung linear.

Zum Vergrößern anklicken....

Das wird ja immer von den beiden GPU Herstellern genutzt, um ihre Karten möglichst toll aussehen zu lassen. Die mathematische Beziehung wird dadurch aber nicht "linearer".

KIDH schrieb:

Schreibst du die Integrationsdichte dran, ist es linear.

Zum Vergrößern anklicken....

Integrationsdichte = Transistoren / Fläche

Wenn ich die Transistoren alle 18 Monate verdopple bei gleicher Fläche, wo wird da was linear?

Warte...falsch gedacht....*argh*

Sehr interessanter Artikel

Waere es theoretisch moeglich, auf einen der grossen Knackpunkte von GPGPU-Computing einzugehen :
...die Lebensdauer der Karten, sofern sie ohne massiv verstaerkte Kuehlung betrieben werden ?

IMHO ist das (zusaetzlich zur Laermentwicklung unter Dauerlast) derzeit bei DC bereits ein Thema, dem allerdings kaum Beachtung geschenkt wird.
Ich will gar nicht wissen, wieviele Grafikkarten durch abgerauchte Spannungswandler, defekte Luefter und sonstige Schaeden bereits ihr Leben lassen mussten.

Soweit ich weiss, werden zwar alle neuen Karten mit ihren GPGPU-Faehigkeiten beworben, eine z.B. mit Server-Festplatten vergleichbare 24/7 Spezifikation habe ich dagegen bei den handelsueblichen Desktop-Karten noch nirgends gesehen (?)

Waere interessant, was die grossen Kartenhersteller zu dem Thema zu sagen haben und wie sie damit umgehen.

guter Artikel, Danke.

Was mich am GPU computing interessiert, kann man damit auch was machen was dem Computer user nutzt? Ich meine es ist schön wenn mein BOINC schneller geht (und ich mach die klimamodelle, die unterstützen nicht mal die GPU), aber wird es auch mal was geben das mir nutzt? Beim vidocoden etc.? Und wird es immer nötig sein, dass eine software programmiert ist die GPU zu nutzen? Ic hmeine, es dauerte ewich Software dazu zu bringen mehrere Kerne zu nutzen, bis wann ist denn die mesite Software so weit die GPU zu nutzen?

Ich bin 2-d nutzer, hab also nur eine onboard GPU. Für autoCAD etc. könnte ich mir vorstellen ein günstige diskrete GPU zu kaufen, aber so richtig nutzen könnte ich sie nicht, jedenfalls nicht für meine Anwendungen (und distributed computing mach ich ja nicht für mich selbst).

Ich denke wenn jemand hoch paralellisierte anwendungne hat wäre s gut wenn die CPU/Mobo/GPU automatisch die GPU nutzen würde, egal obb der Programmierer der Software das so vorgesehen hat oder nicht.

gerade beim Trend die GPU direct an die CPU anzubinden oder auf der CPU zu integrieren (Sandy Bridge) wäre das gut.

HerrKaLeun schrieb:

...Beim vidocoden etc.?...

Zum Vergrößern anklicken....

Soweit ich weiß, gibt es schon länger Software, die dabei CUDA unterstützt.

HerrKaLeun schrieb:

Und wird es immer nötig sein, dass eine software programmiert ist die GPU zu nutzen?

Zum Vergrößern anklicken....

Ja, wie soll das sonst gehen? Eine Software muß auch entsprechend programmiert/kompiliert sein um Befehlssätze wie SSEx oder 3DNow! zu nutzen.

HerrKaLeun schrieb:

(und distributed computing mach ich ja nicht für mich selbst).

Zum Vergrößern anklicken....

Also ich schon...man weiß ja nie, welche Krankheit einen mal befällt. Auch von anderen Projekten wird man sicherlich mal selber einen Nutzen haben.

Ob die GPU nun im CPU-Die sitzt oder auf dedizierter HArdware ist dem Programm eigentlich wurscht. Im Moment lassen sich jedoch nur bescheidene Grafikchips in einer CPU integrieren, zudem muss der Grafikchip auf den sehr langsamen FSB des Hauptspeicher zugreifen, dabei limitiert auch noch das enge Speicherinterface, falls dieses beim 1156 noch immer 128Bit breit/schmal sein sollte. Die Grafikkarte hat noch lange nicht ihre Daseinsberechtigung verloren. Ich erinnere nur mal an die Flexibilität einer separaten Grafikkarte.

KIDH schrieb:

Ja, wie soll das sonst gehen? Eine Software muß auch entsprechend programmiert/kompiliert sein um Befehlssätze wie SSEx oder 3DNow! zu nutzen.

Also ich schon...man weiß ja nie, welche Krankheit einen mal befällt. Auch von anderen Projekten wird man sicherlich mal selber einen Nutzen haben.

Zum Vergrößern anklicken....

Windows 7 und Vista nutzen bei bestimmter Software auch meherere Kerne besser als XP und das ha tnichts mit der software slebst zu tun. z.B. Trane TRACE ist 20% schneller in Vista/W7 auf dualcore rigs als XP mit der exact gleichen Hardware. Dann müsste es eben universelle Befehlsätze geben. zu Zeith ist ja schon ein unterschied ob man ATI oder NVIDIa hat. Alle Software läuft auf AMD und Intel CPUs. Genau so könnte es auch mit GPUs sein. Genau so wie die CPU entscheidet ob was im L1 oder L2 cache landet. Das wird auch nicht in die anwendungssoftware programmiert. die CPU könnte dann entscheiden das wäre besser für die GPU. Das wird sicher erst mal bei GPU-on-die möglich sein, wäre aber ein Fortschritt.

Du kaufst aber nicht extra Hardware um distributed computing zu machen? Du würdest aber bessere GPU kaufen wenn du selbst etwas schneller machen könntest.

Windows XY ist auch nur Software...so what!? Wenn das Grundsystem Mehrkern-CPUs bzw Mehrprozessor-Systeme besser unterstützt, kann das die darauf laufende Software je nach eigener Begabung dann auch.

Die Software läuft auf AMD/Intel CPUs, weil sie einen gemeinsamen Nenner haben (im Groben und Ganzen), nämlich x86er- und AMD64-Technik. Die Software wird dafür lauffähig gemacht mit den entsprechenden Compilern...je nach Gusto auch durch Ausnutzung von SSEx usw.

Natürlich kannst du so programmieren, dass du L1/L2/L3 Cache gut ausnutzt...das geschieht dann nur indirekt, aber du kannst es sehr wohl beeinflussen.

Das alles hat eigentlich nichts mti GPU on/off Die zu tun, denn GPU bleibt GPU...sonst wären wir wieder da wo wir angefangen haben -> CPU berechnet alles, Grafikchip ist nur für Bildausgabe verantwortlich.

BTW: Ich hab mir meine Radeon 4850 weigentlich nur für Folding@home geholt...hab bisher noch nie drauf gespielt in dem ganzen Jahr seitdem ich sie habe.

KIDH schrieb:

Das alles hat eigentlich nichts mti GPU on/off Die zu tun, denn GPU bleibt GPU...sonst wären wir wieder da wo wir angefangen haben -> CPU berechnet alles, Grafikchip ist nur für Bildausgabe verantwortlich.

BTW: Ich hab mir meine Radeon 4850 weigentlich nur für Folding@home geholt...hab bisher noch nie drauf gespielt in dem ganzen Jahr seitdem ich sie habe.

Zum Vergrößern anklicken....

Ich meinte ja, wenn die GPU on-die ist weiss der CPU Hersteller ja ganz genau was die kann und kann das nutzen. Wenn es eien separate GPU ist, dann weiss der CPU Hersteller ja nicht was das ist und es is schwieriger die GPU zu nutzen.

Wie du sicher bemerkt hast, ich bin mehr Anwender als Programmierer der die genauen Befehle kennt und wie sie mit der software-Hardware zusammenarbeiten. Aber ich fände es gut (und sicher auch machbar wenn die Firmen sich mal einigen könnten) die rieseigen Parall computing Potentiale der GPU zunutzen. Es wäre ja im Sinne der GPU Hersteller, weil sie dann auch mal Leute wie mich zum Kauf animieren könnten.

Das ist nobel von dir... aber 99.999% kaufen sich nur Hardware wenn sie es auch selber nutzen, für games etc. Mir wären jetzt die 100$ nicht zu viel, aber eine diskrete GPU braucht ja auch mehr Strom

Ja, idle Verbrauch bei GPUs zu senken wäre mein nächster Wunsch.

Wenn du einen AMD Prozessor und eine ATI-Grafikkarte hast, ist die Hardware ja schon vom gleichen Hersteller. Ob die GPU nun noch mit auf den Prozessor wandert, dürfte in der Hinsicht nicht viel ändern. Ich verstehe dein Anliegen und sehe das teils selber so, aber trotzdem muss Software stets angepasst sein, das ist einfach so...und es war schon immer so.

Ich bin übrigens auch kein Programmierer, sonder eher nur Anwender.

Klar, dass ich nicht den Regelfall darstelle mit meiner Folding@home-Karte, habe ich auch nicht behauptet...du hast mich aber direkt gefragt und ich hab dir widersprochen, weil es anders ist als du dir dachtest. Allerdings bin ich durchaus nicht der einzige hier, der Hardware extra für DC beschafft und betreibt.

KIDH schrieb:

Soweit ich weiß, gibt es schon länger Software, die dabei CUDA unterstützt.

Zum Vergrößern anklicken....

*hust**müll**kotz**würg**nutzlos*

ShiningDragon schrieb:

(man sieht es ja selbst an den großen Forschungsprogrammen von Folding und BOINC wie langwierig der Optimierungsprozess auf GPUs ist).

Zum Vergrößern anklicken....

Bei BOINC-Projekten -> signed...aber bei Folding@Home? WTF?

Die haben mit dem ganzen Kram angefangen...die haben damals noch über DirectX GPU1 auf den Radeon X1000er Modellen laufen lassen als es von ATI noch gar nichts dazu gab. An GPU2 hat sich seit dem Release auch nicht allzu viel geändert, der nächste Schritt wird OpenCL, und damit GPU3, sein.

KIDH schrieb:

...aber bei Folding@Home? WTF?

Zum Vergrößern anklicken....

Klick, klick, klick...

Noch fernab von einem Stadium, wo ich den Clienten auf einem Produktivrechner einsetzen würde. Aber ich weiß ja, das es heutzutage "in" ist, halbgare Software als "toll" hinzustellen. Die Erfahrung mache ich ja (wieder mal) im Windows 7 Thread.

ShiningDragon schrieb:

*hust**müll**kotz**würg**nutzlos*

Ich mutmaße dreist, das GPGPU im Endkundenbereich eine Rand- und Nischenerscheinung bleiben wird. Jetzt haben sich gerade mal DualCore Prozessoren etabliert; etliche Spiele sind nachwievor nicht nativ quadoptimiert. Eine GPU unterscheidet sich von der Programmierung einer CPU nochmals erheblich (man sieht es ja selbst an den großen Forschungsprogrammen von Folding und BOINC wie langwierig der Optimierungsprozess auf GPUs ist).

Wenn's kommt, dann kommt es. Wenn nicht, dann halt nicht. Zumindest fällt das Kriterium GPGPU Leistung bei Kaufentscheidungen für mich weg. Das hat absolut 0 Gewicht.

Zum Vergrößern anklicken....

Ja, dass CUDA nicht so toll ist hab ich auch gehört.
Mit den Multi-core CPUs bin ich aber anderer Meinung. Ja, bei Benchmarks zeigen die nicht immer lineare Leistungssteigerung mit mehr Kernen. aber Benchmarks sind im Labor gemacht. Im realen Leben hab ich virenscanner, Firewall, outlook, viel Browser fesnteretc. an. Defraggler, virenscanner nutzen auch gern mehrere Kerne.

Ich denke sogar, dass alles was man mit CPUGPU machen könnte von hyperthreading erledigt werden kann. Mit der GPU ist das so eine Sache, klar kann man 100e von Sachen gleichzetig machen, aber nur primitive Sachen. aber die GPU braucht auch ein bisschen CPU (wegen gleitkomma, oder floating point... oder sowas). Mit einer sehr starken GPU wird die CPU dann zum bottleneck. Deswegen denke ich auch, die on-die GPU sind da eher geeignet, weil die ja nicht so leistungsfähig sind, dass sie die CPU als bottleneck haben, und auch besser kontrolliert werden können. Selbst wenn ich eine ATI GPU habe mit einer AMD CPU... da es ja so viel Modelle gibt ist das schwerer umzusetzen als mit in-die GPU. und auch potentiell weniger Latenzen mit on-die GPU. Sandybridge (und AMD arbeitet sicher auch an was ähnlichen) wird das eher möglich machen.

OT: persönlich hoffe ich, dass weniger Leute Aliens suchen würden. SETI kann uns alle umbringen. Schon mal dran gedacht, dass die Aliens die wir finden uns überlegen sind wenn sie herkommen? Und es ist ja wohl klar (und die Menschen haben das bewiesen in der Geschichte) was passiert wenn Zivilisationen aufeinandertreffen und die eine der anderen technologisch überlegen ist?