Diskussionen um Barcelona-Benchmark-Werte

Auf seiner Webseite hat AMD für den Barcelona hochgerechnete SPEC-Benchmarkwerte veröffentlicht, die für einigen Diskussionsstoff sorgen.

Die veröffentlichten Werte für einen (imaginären) 2,6GHz Barcelona im SPECint_rate2006- und den SPECfp_rate2006-Benchmark sehen durchaus gut, so soll dieser mit 102 zu 85 Punkten 21% (INT) bzw. sogar 50% (FP) vor einem 2,66GHz schnellen Xeon X5355 Quad-Core liegen (beidesmal Dual-Sockel-Systeme).

Der erste Diskussionspunkt dreht sich um die verwendeten Taktraten, so soll der Barcelona nur mit bis zu 2GHz vorgestellt werden, wann ein 2,6GHz-Modell folgen soll steht derzeit nicht fest. Der Xeon X5355 ist außerdem nicht das derzeitige Topmodell der Intel-Xeon-Produktpalette, sondern der X5365 mit 3GHz der entsprechend gut 12% höher getaktet ist. Der zweite Punkt sind die zu Grunde gelegten Vergleichswerte der Intel-Prozessoren, gerade im SPECint_rate weichen die derzeit veröffentlichten Ergebnisse stark von denen AMDs ab, so ist der höchste eingetragene Wert für einen X5355 101 und nicht 85, wie von AMD publiziert.

Diese Werte als Anhaltspunkt genommen, dürfte sich ein 2GHz Barcelona im SPECfp_rate in etwa auf dem Niveau eines X5365 bewegen, im SPECint_rate jedoch deutlich darunter.

<b>Quelle:</b> <a href="http://multicore.amd.com/us-en/AMD-Multi-Core/Products/Barcelona/Performance.aspx" target="b">"Barcelona" Performance</a> [AMD.com]

<b>Links zum Thema:</b><ul><li><a href="http://www.spec.org/cpu2006/results/" target="b">SPEC CPU2006 Results</a> [SPEC.org]</li><li><a href="http://blogs.zdnet.com/Ou/?p=567" target="b">AMD posts blatantly deceptive benchmarks on Barcelona</a> [ZDNet]</li>
</ul>

Also langsam gehen mir diese halbherzigen Benchmarkergebnisse nur noch auf den Sender, obwohl total gespannt bin auf den Barcelona. Ich habe es bloß satt. AMD soll endlich mal aus dem Knick kommen und die CPU fertig bekommen. Außerdem könnte man vllt mal ein paar Samples ausgeben um Benchmarks durchführen zu lassen. Sonst wird wieder stundenlang über wenn und aber diskutiert und am Ende kann eh keiner die Leistung wirklich abschätzen...

Also hier muss man AMD zugestehen, dass sie völlig korrekte Angaben gemacht haben, laut AMD sind alle Werte vom 16. April 2007. Die Xeon Maschine mit 101 Punkten ist dagegen erst seit Juni in die Datenbank eingetragen, weil die entsprechende Software erst seit Juni verfügbar ist. Also ich nehme mal an das von folgendem Ding die Rede ist:
http://www.spec.org/cpu2006/results/res2007q2/cpu2006-20070612-01275.html

BTW: Mit der gleichen Anzahl an Kernen kommt AMD schon heute auf einen Wert von 101, mit einem Takt von 2,8 GHz auch nicht viel schneller getaktet als die Barcelona Estimates Kiste. Hier muss ich aber gleich anmerken, dass das System mehr Speicher hat wie obiger Xeon Sever. Auf wieviel Speicher AMDs Scores basieren wissen wir aber ohnehin nicht.
http://www.spec.org/cpu2006/results/res2007q2/cpu2006-20070430-00984.html

Ach, nun habe ich noch ein interessantes Testresultat gefunden, 2 Quad Xeon mit 3 GHz, also das Spitzenmodell, getestet von Intel !! Ergebnis 106 Punkte
http://www.spec.org/cpu2006/results/res2007q2/cpu2006-20070528-01175.html

Also irgendwie finde ich den zdnet Artikel ein wenig lächerlich: Sie graben eine uralte Seite bei AMD aus, auf der AMD klare Angaben macht zu der Situation wie sie im April war. Und natürlich sieht es heute danke neuer Compiler besser für die Intel Server aus. Gleiches kann man aber auch für AMD Systeme erwarten.

Nachdem ich nun herausgefunden habe, welches System AMD angegeben hat, denke ich dass der Hauptunterschied zwischen damals und heute der Compiler ist: Intel 9.1(for IA32) vs Intel 10.0 (IA32/EM64T). Der neue ist demnach 64 Bit tauglich, was auf einem 64 Bit System mit mehr als 4 GB Speicher durchaus Vorteile hat.

Hi,

ich sag dazu nur: Taten zählen und zwar in Hardware gegossen. Das gilt nicht nur für den Barcelona auch für BE 2XXX, AMD HD 2900XTX bzw. HD 2950 XTX, Fusion .... .

Greetz
neax

genau so ist es.... ich weiss noch als gemunkelt wurde und wieviel schneller die x2900 sein muss bei dem 512bit speicherinterface ... und jetzt .....

es wird viel davon abhängen wieviel man die cpus übertakten kann ... weil das am anfang einer cpu generation relativ viel aussagt wieviel spätere modelle erreichen werden.

Traue keinem Ergebnis welches du nicht selbst ge... hast.

fogzone schrieb:

genau so ist es.... ich weiss noch als gemunkelt wurde und wieviel schneller die x2900 sein muss bei dem 512bit speicherinterface ... und jetzt .....

Zum Vergrößern anklicken....

Beschwör's nicht. Im Nachhinein kann man gut nachvollziehen, weswegen ATI so geizig mit R600-Benchmarks war, mit Performance um 8800GTS-Niveau hätte ich mich das auch nicht getraut schon vorher an die große Glocke zu hängen, wenn alle Welt ein Killerprodukt erwartet, das neue Standards setzt. Ich will echt nicht hoffen, dass AMD im Falle des K10 ähnliche Gründe hat. Wenn die mit der Pro-Takt-Leistung nicht richtig abgehen und sich zudem bloß in niedrigen 2.X Ghz-Regionen bewegen, wird's bitter.

Schaut euch nur einmal das Verhältnis vom Barcelona zum alten Opteron an. Das ist nicht viel Unterschied. Einmal davon abgesehen:

1.) Intel Spitzenmodell hat 3GHz und nicht 2,66GHz (12,8%)
2.) Die Werte stimmen auch nicht: 101 vs. 85 Punkte (18,8%)
3.) Es hat noch nie einen Barcelona mit 2,6GHz gegeben. Released wird er mit 2GHz. (30%)
4.) Man darf nicht aktuelle CPUs mit CPUs vergleichen, die irgendwann einmal released werden. Intel hat auf der Computex schon einen Penryn mit 3,33GHz präsentiert (ca. 10% mehr Performance als Core2Duo), AMD dagegen nur mit 1,6GHz: http://www.computerbase.de/news/har...uni/computex_intel_dual-penryn-system_aktion/
http://www.computerbase.de/news/hardware/prozessoren/amd/2007/juni/computex_amds_k10_cinebench/
5.) Benchmarks, die vom Hersteller selbst kommen sind immer so gewählt, dass sie auf die eigene Architektur passen, also gleich noch einmal 10%.

Wir wären also bei (101/85)*(3,33GHz*1,1/2,66GHz)*(2,6GHz/1,6GHz)*1,1 = 292%, also fast das 3fache. Selbst wenn an meiner Überlegung nur 10% Wahrheit dran sind, dann ist das alleine schon ein Grund diesen Benchmark in die Tonne zu treten.

andr_gin schrieb:

...

Wir wären also bei (101/85)*(3,33GHz*1,1/2,66GHz)*(2,6GHz/1,6GHz)*1,1 = 292%, also fast das 3fache. Selbst wenn an meiner Überlegung nur 10% Wahrheit dran sind, dann ist das alleine schon ein Grund diesen Benchmark in die Tonne zu treten.

Zum Vergrößern anklicken....

Das ist nur die Performance im SPECint_rate-Bereich, im FP-Bereich sieht es schon wieder deutlich besser aus. Und der Penryn kommt Ende des Jahres, der Barcelona im August und und und...

So schlimm ist es dann doch nicht.

fogzone schrieb:

genau so ist es.... ich weiss noch als gemunkelt wurde und wieviel schneller die x2900 sein muss bei dem 512bit speicherinterface ... und jetzt .....

es wird viel davon abhängen wieviel man die cpus übertakten kann ... weil das am anfang einer cpu generation relativ viel aussagt wieviel spätere modelle erreichen werden.

Zum Vergrößern anklicken....

Daumenregel: wenn ein Produkt (m. o. w. stark) verzoegert wird dann heisst das generell nichts gutes - vor allem nicht wenn die Konkurrenz ein gutes, vergleichbares Produkt bereits am Markt hat.

NOFX schrieb:

Das ist nur die Performance im SPECint_rate-Bereich, im FP-Bereich sieht es schon wieder deutlich besser aus. Und der Penryn kommt Ende des Jahres, der Barcelona im August und und und...

So schlimm ist es dann doch nicht.

Zum Vergrößern anklicken....

Ich denke nicht, dass ich AMD da um 300% verkalkuliert hat, aber es soll doch zeigen, dass es nicht einmal ansatzweise stimmt. Ich schätze der Barcelona wir mit ca. der gleichen Leistung/MHz wie der Core2Duo, vielleicht so wie der Penryn, daherkommen. Als erstes folgen die 2GHz Versionen für Server (ähnlich wie beim ersten Opteron mit 1,4GHz). Zusätzlich werden noch ein paar Low Voltage Versionen kommen. 2,5GHz wird AMD nicht releasen, da es keinen Markt für stromfressende CPUs gibt, wenn sie deutlich langsamer als die Konkurenz sind. Anfang 2008 werden dann AMD mit ca. 2,8GHz kommen und Intel wird ca. zeitgleich den Penryn releasen, wodurch die Situation ca. so bleibt wie jetzten

P.S.: Das ist reine Spekulation, aber in einem Jahr werden wir sehen, ob ich Recht gehabt habe.

der k10 ist doch jetzt schon fast eine totgeburt.

simulierte benchmarks...... pfhhhhhh

andr_gin schrieb:

Ich denke nicht, dass ich AMD da um 300% verkalkuliert hat, aber es soll doch zeigen, dass es nicht einmal ansatzweise stimmt. Ich schätze der Barcelona wir mit ca. der gleichen Leistung/MHz wie der Core2Duo, vielleicht so wie der Penryn, daherkommen. Als erstes folgen die 2GHz Versionen für Server (ähnlich wie beim ersten Opteron mit 1,4GHz). Zusätzlich werden noch ein paar Low Voltage Versionen kommen. 2,5GHz wird AMD nicht releasen, da es keinen Markt für stromfressende CPUs gibt, wenn sie deutlich langsamer als die Konkurenz sind. Anfang 2008 werden dann AMD mit ca. 2,8GHz kommen und Intel wird ca. zeitgleich den Penryn releasen, wodurch die Situation ca. so bleibt wie jetzten

P.S.: Das ist reine Spekulation, aber in einem Jahr werden wir sehen, ob ich Recht gehabt habe.

Zum Vergrößern anklicken....

Umgerechnet hat der Barcelona ziemlich die gleiche Int-Leistung, liegt im FP-Bereich aber deutlich drüber (die falschen Werte sind nur für den Int-Bereich).

@fogzone

Na so schlecht scheint die 2900XTX nicht zu sein

http://www.pcgameshardware.de/?article_id=605401

Jon Snow schrieb:

der k10 ist doch jetzt schon fast eine totgeburt.

simulierte benchmarks...... pfhhhhhh

Zum Vergrößern anklicken....

auch wenn ich jetzt böse und direkt bin,

halt einfach die klappe, wenn du keine ahnung hast und nimm den penismark als schwanzvergleich...

sorry, aber das mußte mal sein. wenn du amd nicht magst, es zwingt dich keiner amd produkte zu kaufe, genausowenig wie ati....
sowie ein golf gti fahrer nie einen opel fahren wird...

Richtig so Raven...Mir geht das auch auf den Sack.

Sowas kann man bei CB schreiben, aber nicht hier bei Planet. In meinen Rechner kommt kein Intel. Jedem Das Seine!

Jon Snow schrieb:

der k10 ist doch jetzt schon fast eine totgeburt.

simulierte benchmarks...... pfhhhhhh

Zum Vergrößern anklicken....

Das muss dort so stehen, weil die SPEC Regeln es nicht erlauben, etwas als Benchmark zu bezeichnen, wenn man ein produkt nicht liefern kann.

NOFX schrieb:

Umgerechnet hat der Barcelona ziemlich die gleiche Int-Leistung, liegt im FP-Bereich aber deutlich drüber (die falschen Werte sind nur für den Int-Bereich).

Zum Vergrößern anklicken....

Warum falsche Werte? Die Werte sind völlig korrekt, eben das beste was man aus der SPEC Datenbank im April rausholen könnte.

@ andr_gin

5.) Benchmarks, die vom Hersteller selbst kommen sind immer so gewählt, dass sie auf die eigene Architektur passen, also gleich noch einmal 10%.

Zum Vergrößern anklicken....

Der SPEC Benchmark ist mit Sicherheit der objektivste Benchmark den es gibt. Denn er erlaubt plattformübergreifende Vergleiche und jedes System kann beliebig optimiert werden. D.h. für jedes System sind optimale Compilersettings möglich. Kein Hersteller kann irgendwie durch "Insiderhandel" etwas manipulieren. Also er ist weder sponsored by AMD noch by Intel. Außerdem ist es nicht ein Benchmark, sondern eine ganze Benchmarksuite.

Schmeiß ich jetzt was durcheinander, das klingt doch eigentlich gar nicht schlecht:

http://uk.theinquirer.org/default.aspx?article=40749

" Der K10/Barcelona 2.3GHz soll in den Interger-SPECs 21 Prozent besser sein, als ein Intel Clovertown bei 2.66 GHz.
Bei Gleitkommaberechnungen soll der Cloverton um 50% schlechter sein for Clovertown. "

http://www.orthy.de/index.php?option=com_content&task=view&id=4760&Itemid=86

Und das bei 95W und dem Taktunterschied klingt ja nicht mal so schlecht, auch wenn er nur mit 2Ghz startet und vielleicht dieses jahr bei 2,5 bleibt.

mtb][sledgehammer;3240383 schrieb:

@ andr_gin Der SPEC Benchmark ist mit Sicherheit der objektivste Benchmark den es gibt. Denn er erlaubt plattformübergreifende Vergleiche und jedes System kann beliebig optimiert werden. D.h. für jedes System sind optimale Compilersettings möglich. Kein Hersteller kann irgendwie durch "Insiderhandel" etwas manipulieren. Also er ist weder sponsored by AMD noch by Intel. Außerdem ist es nicht ein Benchmark, sondern eine ganze Benchmarksuite.

Zum Vergrößern anklicken....

1.) Der Test, an den ich mich halte ist der von www.computerbase.de bzw. deren Rating. Das stimmt so ziemlich immer und für mich schaue ich dann noch gewisse Anwendungsgebiete nach z.B. Spiele, Video Encoding etc. Mit den Compilern unter eine beliebigen Umgebung etwas tot zu optimieren, ist eine Sache, aber in der Realität hat man eben nicht immer hochoptimierte Software. Ich z.B. werde kein WinXP64 einsetzen, weil es eben noch nicht ausgereift genug ist. Da ist es vollkommen egal, wie schnell eine CPU unter 64Bit ist, wenn ich nicht einmal einen Modemtreiber finde (und das war bei Weitem nicht das Einzige). Einmal abgesehen davon ist die Auswahl an Benchmarks meiner Ansicht nach nicht wirklich sinnvoll. Es sind mehr als die Hälfte nur wisschenschaftliche Berechnungen. Wenn man da Dinge wie H264 und ogg/aac+ Komprimierung hineinnimmt, dann ist das viel sinnvoller, oder eben einen Benchmark zum Rendern, Datenkompression (aber bitte nicht zip, sondern was zeitgemäßes wie rar oder 7zip). Wenn wir dann noch im Serverbereich sind vielleicht, die Performance von einem Webserver (Dateien im RAM gecachet und kein wirkliches Senden der Daten). Ein kleiner Bench für den SQL Server mit viel RAM (Bandbreite/Latenz wichtig) und nicht nur irgendeinen theoretischen Algorithmus.

2.) Die FP Performance ist zwar schön und gut, aber 95% der Operationen sind Integer. Wenn man von physischen/chemischen oder sonstigen Wissenschaftlichen Berechnungen absieht, gibt es da nicht wirklich viele Anwendungegebiete. Das sieht man eh schon beim SPEC. Außer dem speech recognition und pov ray hört sich alles nach nonsense an. Vor allem die alten Fortran Programme kann man kübeln. Das mag für eine Forschungseinrichtung interessant sein, aber nicht für die Käufer von Systemen mit weniger als 10 Kernen.

3.) Wenn AMD festgestellt hätte, dass sie in SPEC mies aussehen, dann hätte sie wahrscheinlich einen Cinebench oder DivX Benchmark released. Man kann also davon ausgehen, dass es in der Realität nicht besser aussieht, als in diesem Bench.

Der SPEC Bench ist aber dennoch die in der IT-Industrie am meisten geschätzte Benchmarksuite.

Das schöne speziell daran ist, dass damit die unterschiedlichsten CPU-Familien eingeschätzt werden können. Das ist einer der wenigen realen Vergleichsmöglichkeiten einen Opteron Barcelona mit einem Power5+, Power6, Itanium und einem UltraSPARC T1 zu vergleichen.

Da sogar Compiler-Optimierungen erlaubt sind, kann man als geübter Beobachter auch Systeme "von der Stange" mit hochoptimierten Systemen vergleichen.

Ja, die SPEC-Benches sind kein Desktop-Benchmark, wird es auch nie werden. Ganz im Gegenteil, sie werden Leistungsprofile erfassen, die im Desktopbereich erst Jahre (Jahrzehnte) später relevant werden könnten.

Deine Kritik, dass diese Benches nicht konsumentengerecht sind stimmen aber ... Warum traut sich AMD noch nicht auch mit 3DMark-Benches heraus ... oder id-Spielebenches (Stichwort Ego-Shooter) ... warum ... ?

MFG Bobo(2007)

Weile Spiele 3D-Anwendungen sind, die sich zu 90% und mehr auf die GPU stützen und net auf die CPU...

Und einen Futuremark-Benchmark als "CPU-Referenz-Messinstrument" zu nutzen wäre...naje

p4z1f1st schrieb:

Weile Spiele 3D-Anwendungen sind, die sich zu 90% und mehr auf die GPU stützen und net auf die CPU...

Zum Vergrößern anklicken....

Sind ja auch CPU-Benches drin ... ... und auch wenn 3DMARK vor allem die GPUs austestet ... etwas trägt auch die CPU zu guten Benchmarks bei.

Und einen Futuremark-Benchmark als "CPU-Referenz-Messinstrument" zu nutzen wäre ...

Zum Vergrößern anklicken....

Es geht um PR ... nicht um die technisch sinnvolle Darstellung der Leistungskraft.

Mit dem ersten K8 waren im Vorfeld zum Beispiel id-Benchmarks gezeigt worden, die eine schlichte Verdopplung gegenüber einem K7-System zeigten.

Wieviel ich von Benchmarks halte konnte man ja in Benchmarkmärchen erlesen ...

MFG Bobo(2007)

Bobo_Oberon schrieb:

Deine Kritik, dass diese Benches nicht konsumentengerecht sind stimmen aber ... Warum traut sich AMD noch nicht auch mit 3DMark-Benches heraus ... oder id-Spielebenches (Stichwort Ego-Shooter) ... warum ... ?
MFG Bobo(2007)

Zum Vergrößern anklicken....

Weil ihnen das Wasser bis zum Hals steht ! Sorry, aber da werden für eine CPU die noch nicht mal geplant ist (!) einfach mal Benchmarkwerte "hochgerechnet" um die Kundenschaft zu beruhigen....... Für meinen Geschmack ist das nicht PR sondern PANIK ! Offensichtlich hat AMD im Moment nicht nur finanzielle sondern auch noch ganz andere Probleme. Langsam wird das ganze verdammt peinlich.

Was soll hier die ganze Diskussion um 3DMark oder sonstinge schwachsinnige Benchmarks.

Der kommende Prozessor wird als SERVER-Prozessor gelauncht.

Für Serverprozessoren braucht man eben den SPEC Benchmark um sich mit anderen zu vergleichen.
3Dmark und Konsorten interessiert da doch nicht.

lg
__tom

p4z1f1st schrieb:

Weile Spiele 3D-Anwendungen sind, die sich zu 90% und mehr auf die GPU stützen und net auf die CPU...

Und einen Futuremark-Benchmark als "CPU-Referenz-Messinstrument" zu nutzen wäre...naje

Zum Vergrößern anklicken....

wäre ja mehr als peinlich, wenn AMD benchmarks vom 3DMurks veröffentlichen würde um die CPU zu demonstrieren.