Statements zum "3DMark03-Tuning"
- Ersteller Nero24
- Erstellt am
- Mitglied seit
- 01.07.2000
- Beiträge
- 24.066
- Renomée
- 10.446
In Anlehnung an die zahlreichen Fragen beim <a href="http://www.planet3dnow.de/cgi-bin/newspub/viewnews.cgi?category=1&id=1054566323">gestrigen NVIDIA Themenabend</A> bezüglich des unglücklichen 3DMark03-Tunings (wir <a href="http://www.planet3dnow.de/cgi-bin/newspub/viewnews.cgi?category=2&id=1053872731">berichteten</A>), hat uns NVIDIA heute ein paar offizielle Statements dazu zukommen lassen:<ul><i><b>Futuremark Statement</b>
For the first time in 6 months, as a result of Futuremark's White Paper last Friday, Futuremark and NVIDIA have had detailed discussions regarding NVIDIA GPUs and Futuremark's 3DMark03 benchmark.
Futuremark now has a deeper understanding of the situation and NVIDIA's optimization strategy. In the light of this, Futuremark now states that NVIDIA's driver design is an application specific optimization and not a cheat.
The world of 3D Graphics has changed dramatically with the latest generation of highly programmable GPUs. Much like the world of CPUs, each GPU has a different architecture and a unique optimal code path. For example, Futuremark's PCMark2002 has different CPU test compilations for AMD's AthlonXP and Intel's Pentium4 CPUs.
3DMark03 is designed as an un-optimized DirectX test and it provides performance comparisons accordingly. It does not contain manufacturer specific optimized code paths. Because all modifications that change the workload in 3DMark03 are forbidden, we were obliged to update the product to eliminate the effect of optimizations identified in different drivers so that 3DMark03 continued to produce comparable results.
However, recent developments in the graphics industry and game development suggest that a different approach for game performance benchmarking might be needed, where manufacturer-specific code path optimization is directly in the code source. Futuremark will consider whether this approach is needed in its future benchmarks.
<b>NVIDIA Statement</b>
NVIDIA works closely with developers to optimize games for GeForceFX. These optimizations (including shader optimizations) are the result of the co-development process. This is the approach NVIDIA would have preferred also for 3DMark03.
<b>Joint NVIDIA-Futuremark Statement</b>
Both NVIDIA and Futuremark want to define clear rules with the industry about how benchmarks should be developed and how they should be used. We believe that common rules will prevent these types of unfortunate situations moving forward.</i></ul>Offensichtlich ist Futuremark davon abgekommen, die Tuning-Maßnahmen des nVidia-Treibers als Cheat zu bezeichnen und spricht diesbezüglich nun offen von einer Optimierung des Programms an die GPU des Grafikherstellers, wie es auch bei den Prozessoren seit langem üblich sei.
For the first time in 6 months, as a result of Futuremark's White Paper last Friday, Futuremark and NVIDIA have had detailed discussions regarding NVIDIA GPUs and Futuremark's 3DMark03 benchmark.
Futuremark now has a deeper understanding of the situation and NVIDIA's optimization strategy. In the light of this, Futuremark now states that NVIDIA's driver design is an application specific optimization and not a cheat.
The world of 3D Graphics has changed dramatically with the latest generation of highly programmable GPUs. Much like the world of CPUs, each GPU has a different architecture and a unique optimal code path. For example, Futuremark's PCMark2002 has different CPU test compilations for AMD's AthlonXP and Intel's Pentium4 CPUs.
3DMark03 is designed as an un-optimized DirectX test and it provides performance comparisons accordingly. It does not contain manufacturer specific optimized code paths. Because all modifications that change the workload in 3DMark03 are forbidden, we were obliged to update the product to eliminate the effect of optimizations identified in different drivers so that 3DMark03 continued to produce comparable results.
However, recent developments in the graphics industry and game development suggest that a different approach for game performance benchmarking might be needed, where manufacturer-specific code path optimization is directly in the code source. Futuremark will consider whether this approach is needed in its future benchmarks.
<b>NVIDIA Statement</b>
NVIDIA works closely with developers to optimize games for GeForceFX. These optimizations (including shader optimizations) are the result of the co-development process. This is the approach NVIDIA would have preferred also for 3DMark03.
<b>Joint NVIDIA-Futuremark Statement</b>
Both NVIDIA and Futuremark want to define clear rules with the industry about how benchmarks should be developed and how they should be used. We believe that common rules will prevent these types of unfortunate situations moving forward.</i></ul>Offensichtlich ist Futuremark davon abgekommen, die Tuning-Maßnahmen des nVidia-Treibers als Cheat zu bezeichnen und spricht diesbezüglich nun offen von einer Optimierung des Programms an die GPU des Grafikherstellers, wie es auch bei den Prozessoren seit langem üblich sei.
![[P3D] Crazy_Chris](/data/avatars/m/0/429.jpg?1596828194){kind=avatar}
[P3D] Crazy_Chris
Grand Admiral Special
Würde mich nich wundern wenn die den Patch zurückziehen. 
Echt schwach Futuremark!!!
Echt schwach Futuremark!!!![[MTB]JackTheRipper](/data/avatars/m/1/1018.jpg?1596828194){kind=avatar}
[MTB]JackTheRipper
Grand Admiral Special
LOOOOOOOOOL!!!!!!
Die sollen mal lieber für Spiele "optimieren", und nicht für Benchmarks!!!!!!!!!!!!!!
Die sollen mal lieber für Spiele "optimieren", und nicht für Benchmarks!!!!!!!!!!!!!!
Mighty
Senior Moderator
☆☆☆☆☆☆
Original geschrieben von Crazy_Chris
Würde mich nich wundern wenn die den Patch zurückziehen.
Zurückziehen werden sie ihn vermutlich nicht. Wird dann halt wie bei PC Mark mit AMD und Inteloptimierung, bei 3DMark eine nVidia bzw ATI optimierte Version geben.
- Mitglied seit
- 01.07.2000
- Beiträge
- 24.066
- Renomée
- 10.446
Offizielle Firmenstatements durfen nicht einfach mal so frei übersetzt werden, da die Unternehmen jedes einzelne Wort stundenlang geschliffen haben, was durch die Übersetzung eines Redakteurs verloren gehen könnte! Aber die inhaltliche Zusammenfassung des Statements in deutscher Sprache steht ja direkt drunterOriginal geschrieben von Schpock
ich will ja nicht meckern , aber gehts auch in deutsch ?? schließlich ist nicht jeder der englischen Sprache mächtig und Planet3dnow ist in meinen Augen ne deutsche Seiteoder irre ich mich ??
Seraphim
Admiral Special
wie teuer kam denn der sinneswandel? wenn ich also teils vorgefertigten code in einen treiber implementiere, dann ist das ein feature und kein beschiss? dann war ja der cheat bezüglich der q***e 3-optimierung bei ati auch ein feature! schliesslich kam die "optimierung" dem spieler zugute... die geschichtsbücher müssen neu geschrieben werden! ![:]](https://www.planet3dnow.de/vbulletin/images/smilies/rolleyes.gif "Augen rollen (sarkastisch) :]")
Da sieht man mal wieder wie "schwach" nVidia zur Zeit ist...erst ewig auf dem 3DM03 rumhacken, wenn sie dann Dreck am Stecken haben und schlechte Publicity bekommen dann ist er ihnen plötzlich gleich so wichtig dass sie sich mit Futuremark an einen Tisch setzen, natürlich mit kleinen Geschenken in der Tasche....ATI ist da wesentlich ehrenhafter gewesen, die haben nämlich, nachdem die Tatsache bekannt wurde dass auch ATI mit dem Patch insgesamt 2,4% weniger Punkte bekommt (wegen den 8% im Nature) folgendes gesagt:
Terry Makedon (ATI Senior Product Manager):
The 1.9% performance gain comes from optimization of the two DX9 shaders (water and sky) in Game Test 4. We render the scene exactly as intended by Futuremark, in full precision floating point. Our shaders are mathematically and functionally identical to Futuremark's and there are no visual artifacts; we simply shuffle instructions to take advantage of our architecture. These are exactly the sorts of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance. However, we recognize that these can be used by some people to call into question the legitimacy of benchmark results, and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST.
So mutt dat sein
Terry Makedon (ATI Senior Product Manager):
The 1.9% performance gain comes from optimization of the two DX9 shaders (water and sky) in Game Test 4. We render the scene exactly as intended by Futuremark, in full precision floating point. Our shaders are mathematically and functionally identical to Futuremark's and there are no visual artifacts; we simply shuffle instructions to take advantage of our architecture. These are exactly the sorts of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance. However, we recognize that these can be used by some people to call into question the legitimacy of benchmark results, and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST.
So mutt dat sein
Ja ich weiss dass nVidia 24% verliert und gerade weil ATI nur 2% verliert ist es doch umso hmm erstaunlicher dass ATI nicht wie nVidia hingeht und die Schuld indirekt auf Futuremark abschiebt sondern klipp und klarr sagt worans liegt, warum sie es so machen und welche Auswirkungen es auf die Applikation hat.
Wenn der speziell optimierte Code dann auch in Spielen bzw. anderen Real-World-Applikationen zur Anwendung käme, dann wäre das ja ok; aber "speziell optimiert" bedeutet eben schon, daß nur für den 3DMeier03 was angepaßt wurde, damit wird er als Benchmark, der ja eigentlich die Leistung in echten Anwendungen abbilden soll, unbrauchbar (falls er das überhaupt mal war, aber das ist eine andere Geschichte).
Wenn nVidia allerdings anfängt, echte Spiele zu optimieren, dann würde ich das eher begrüßen (obwohl ich ne Ati drin habe). Dann gibt es eben mehrere Renderingpfade für die Hauptarchitekturen (hoffentlich nicht nur die von nVidia) und einen für die restlichen Karten, und die meisten Leute können tatsächlich mehr Performance rausholen.
Aber so bleibt es ein CHEAT, auch wenn nach "detailed discussions" Futuremark nun nVidia aus der Hand frißt.
Natürlich ist der Benchmark dann auch wieder unbrauchbar, wenn er unoptimiert ist, und alle Spiele mehr oder wenger optimiert sind; aber ich glaube, die einzig wirksame Methode dagegen ist, einfach mit den Spielen selbst zu benchen.
Wenn nVidia allerdings anfängt, echte Spiele zu optimieren, dann würde ich das eher begrüßen (obwohl ich ne Ati drin habe). Dann gibt es eben mehrere Renderingpfade für die Hauptarchitekturen (hoffentlich nicht nur die von nVidia) und einen für die restlichen Karten, und die meisten Leute können tatsächlich mehr Performance rausholen.
Aber so bleibt es ein CHEAT, auch wenn nach "detailed discussions"
Futuremark nun nVidia aus der Hand frißt.Natürlich ist der Benchmark dann auch wieder unbrauchbar, wenn er unoptimiert ist, und alle Spiele mehr oder wenger optimiert sind; aber ich glaube, die einzig wirksame Methode dagegen ist, einfach mit den Spielen selbst zu benchen.
Steinkalt
Admiral Special
Ich wette von euch Spammern hat jeder eine Atikarte und ihr müsst euch jetzt nur beweisen das eure Kaufentscheidung richtig war
Ich bin der Meinung das der Treiber von nvidia optimiert wurde, genauso wie Ati seine Treiber optimiert. Das ganze wurde jetzt auch offiziell von nvidia und Futuremark bestätigt, also was soll das geflame?
Ich bin der Meinung das der Treiber von nvidia optimiert wurde, genauso wie Ati seine Treiber optimiert. Das ganze wurde jetzt auch offiziell von nvidia und Futuremark bestätigt, also was soll das geflame?
[P3D] Crazy_Chris
Grand Admiral Special
Original geschrieben von Steinkalt
Ich wette von euch Spammern hat jeder eine Atikarte und ihr müsst euch jetzt nur beweisen das eure Kaufentscheidung richtig war
Ich bin der Meinung das der Treiber von nvidia optimiert wurde, genauso wie Ati seine Treiber optimiert. Das ganze wurde jetzt auch offiziell von nvidia und Futuremark bestätigt, also was soll das geflame?
Optimierung auf kosten der Bildqualität!? Das ist cheaten. ATis Optimierungen verfälschen wenigstens nicht das Renderergebnis. 
RICHTHOFEN
Admiral Special
- Mitglied seit
- 07.12.2001
- Beiträge
- 1.086
- Renomée
- 8
müssen sie auch gar nicht, da sie von Haus aus eine schlechtere BQ beim 3DMark abliefern als Nvidia, wenn alles auf Standard bleibt also NV FP32 und ATI FP24.
Und weil das nicht vergleichbar ist, ist der Murks eben auch das was er ist - Murks.
Und weil das nicht vergleichbar ist, ist der Murks eben auch das was er ist - Murks.
[MTB]JackTheRipper
Grand Admiral Special
*gggggggggg*
Schon mal nen Vergleichstest der Bildquali einer ATI, und einer nVidia Karte gesehen? Wenn man nicht grad ne alte ATI und ne neue nVidia nimmt sieht das Bild einer ATI deutlich besser aus!
Fruchtnektar
Admiral Special
Muss man dann vielleicht irgendwann NVIDIA Wrapper benutzten um ein NVidia Spiel auf ner ATI spielen zu können
Das mit dem Optimieren aus GPU kommt mir bekannt vor... War das nicht Glide, Direct3D und PowerVR? Allesamt höchste Stufungen von Optimierungen...
Und dann sagte man Direct3D ist besser weil einheitlich....
Ist ja schon wie in der Modebranche alles kommt wieder...
Das mit dem Optimieren aus GPU kommt mir bekannt vor... War das nicht Glide, Direct3D und PowerVR? Allesamt höchste Stufungen von Optimierungen...
Und dann sagte man Direct3D ist besser weil einheitlich....
Ist ja schon wie in der Modebranche alles kommt wieder...
Melbourne, FL
Admiral Special
Das mag ja sein aber ich glaube kaum, dass irgendjemand den Unterschied zwischen FP24 und FP32 sieht. Filme ala Toy Story oder Monster AG werden mit geringerer Farbtiefe gerendert. Es ist nun mal so, dass FP24 die Mindestvoraussetzung von DX9 ist. NV hätte seine Stufen bei den Farbtiefen einfach geschickter wählen sollen. Bei FP16 sind sie streng genommen nicht DX9 konform und bei FP32 übererfüllen sie das Soll und sind deswegen langsamer.
Jup...das Programm ist wirklich nur Murks...
Zum eigentlichen Thema: Das Futuremark Optimierungen jetzt gutheisst finde ich in Ordnung...denn auf Spiele wird von den Grafikkartenherstellern ja auch optimiert. Aber dass Verschlechterungen der Bildqualität als Optimierung und nicht als Cheat zählen halte ich doch für sehr bedenklich.
Alexander
themk
Grand Admiral Special
Finde ich überhaupt nicht in Ordnung!!
Das fördert nur das ein Hersteller (wer wohl
) damit beginnt richtig auf 3DMark zu optimieren und der andere Hersteller automatisch nachziehen muss!Und das fördert nicht nur unrealistische Ergebnisse, sondern stellt auch eine Verschwendung von Resourcen bezügich der Treiber dar!
Und das wiederum bedeutet natürlich das es bei Spielen vollkommen anders ausssehen wird...
Dann haben wir blitzschnelle 3DMark Karten.
themk (der wo 3DMark verabscheut und hast
)
Tom24
Grand Admiral Special
- Mitglied seit
- 14.01.2001
- Beiträge
- 5.401
- Renomée
- 7
Original geschrieben von Fruchtnektar
Muss man dann vielleicht irgendwann NVIDIA Wrapper benutzten um ein NVidia Spiel auf ner ATI spielen zu können
Das mit dem Optimieren aus GPU kommt mir bekannt vor... War das nicht Glide, Direct3D und PowerVR? Allesamt höchste Stufungen von Optimierungen...
Und dann sagte man Direct3D ist besser weil einheitlich....
Ist ja schon wie in der Modebranche alles kommt wieder...
hehe an sich ja ganz witzig, aber du solltest auch mal daran denken, dass d3d eigendlich totaler müll ist.
Glide ist da ewig weit vorraus gewesen, würde das beste Produkt hier den Markt dominieren, dann wäre MS mit ihren DX total gegen den Baum gefahren und OpenGL hätte auf ganzer Linie gesiegt, aber hauptsache 1 , 2 komische Klickeridu Tools dazupacken, und dann läuft das, wie fragt keiner, hauptsache wir bestimmen den Standard, und verdienen damit ne Menge Kohle...
Zum cheat:
ich denke das kann man getrost eindeutigen Betrug nennen, in einem Benchmark, Optimierungen vorzunehmen, die das eigene Produkt besser darstellt, ist absolut kommentarunbedürftig,
es _wäre_ entschuldbar gewesen wenn es ein Spiel wäre, was sich oft verkauft hat, oder allgemein sehr Hardwareaufwenig ist,
aber in einem Bechmark, ist das eindeutig eine realitätsfremde MAnipulation die nur, Marketingzwecken dient, man bedenke Benches sind zum messen da, Spiele zur Unterhaltung.
RICHTHOFEN
Admiral Special
- Mitglied seit
- 07.12.2001
- Beiträge
- 1.086
- Renomée
- 8
Wer den Unterschied zwischen FP24 nicht sehen kann und will, dem kann ich nur sagen dann seh ich den zwischen FP16 und 24 auch nicht.
Mich interessiert eigentlich herzlich wenig ob FP24 nun die Minimalanforderung an DX9 ist und FP16 nicht mehr.
Nvidia liefert eine sehr flexible Architektur, die da wo es notwendig ist FP32 liefern kann und da wo es nicht notwendig ist FP16.
Es muss eben nur auch so genutzt werden und das hat der Murks nicht gemacht. Er ist gelinde gesagt reichlich ATI optimiert und das ist halt an der Realität vorbei. Die Masse der entwickler wird entweder für beide optimieren oder eben für Nvidia. Das Bedingt nunmal der immense Vorteil bei der Marktdurchdringung und um diesen Fakt kommt auch FM nicht herum. Und da scheinen sie wohl mittlerweile eingesehen zu haben, wenn ich mir das Statement durchlese. Wie sie zu dem Schluss gekommen sind interessiert mich dabei herzlich wenig.
Ich bin sowieso generell dafür diese synthetischen Benchmarks wegzulassen, zumindest die GEsamtpunktzahl und nur noch Einzeltests zu betrachten und dabei auch den technischen Ablauf im Hintergrund betrachten.
RICHTHOFEN
Admiral Special
- Mitglied seit
- 07.12.2001
- Beiträge
- 1.086
- Renomée
- 8
geistiger Dünnschiss und nicht belegbar. Zeig mir wo ATI besser aussieht. Ich kanns dir sagen beim AA und das wars auch schon. Beim AF haben sie das Nachsehen und wenn ich jetzt streng genommen mir die FP Fähigkeiten anschaue dann auch da. Denn dort bietet ATI eben nur FP24 und dann ist Schluss.
Man hat hier "gerade" erwähnt, warum das so ist und warum es ausreichend ist.
Wenn die Affen den 3DMark03 alleine mit ihren Treibern optimieren können, dann sollen die das gefälligst auch mit den Spielen machen und nicht direkt die Spiele vom Hersteller optimieren lassen, denn das ist absolut unfair. Diese unfaire "Strategie" dann auch noch, wie gestern im Themenabend, schönzureden ist zum Kotzen!
Also ich verstehe nicht, wie man "Monopolisten" ohne wenn und aber unterstützen kann....
Wo kommen wir denn da hin? Ist doch egal, was die für eine Marktdurchdringung haben- rechtfertigt das fehlende Fairness?
So langsam gehen wir wirklich wieder in die Steinzeit zurück...
Ähnliche Themen
