News Schummelt Intel seine GMA-Grafikkerne zu höheren Werten beim 3DMark?

Nero24

Administrator
Teammitglied
Mitglied seit
01.07.2000
Beiträge
24.066
Renomée
10.445
  • BOINC Pentathlon 2019
  • BOINC Pentathlon 2020
  • BOINC Pentathlon 2018
  • BOINC Pentathlon 2021
Die Diskussion kommt uns bekannt vor: vor einigen Jahren lagen sich ATI und NVIDIA in den Haaren, als man sich gegenseitig vorwarf bei den damals gängigen Futuremark 3DMark-Tests zu tricksen, um sich mit möglichst hohen Werten, die jedoch im normalen Spiele-Umfeld nicht zu reproduzieren waren, vom Mitbewerber abzusetzen.

Vor einigen Tagen jedoch hat <a href="http://techreport.com/articles.x/17732" target="_blank">TechReport</a> einen Artikel veröffentlicht, der Intel Manipulationen beim 3DMark Vantage unterstellt. Wurde der Test ganz normal durchgeführt, erreichte das System einen Index von 2931 Punkte. Sobald die Tester bei Tech Report jedoch die 3DMarkVantage.exe in 3DMarkVintage.exe umbenannten, reichte es nur noch zu 2132 Punkten.

<center><img src="http://www.planet3dnow.de/vbulletin/attachment.php?attachmentid=16667&stc=1&d=1255617736" alt="" border="0"><br>Quelle: TechReport</center>

Der Verdacht: der GMA-Treiber von Intel nimmt "Optimierungen" vor sobald er den entsprechenden Benchmark als geladenes Programm erkennt. Da bei einem Benchmark niemand auf die Darstellungsqualität achtet, sondern in der Regel nur auf den Wert, der am Ende dabei heraus kommt, war und ist es offenbar gängige Methode sich hier einen kleinen Vorteil ergaunern zu wollen, schließlich sind derartige Benchmark-Ergebnisse nicht selten mitentscheidend bei der Anschaffung von Geräten. Neu ist hier lediglich, dass diese mutmaßlichen Tricksereien nun auch in den unteren Preissegmenten Einzug erhalten haben könnten; die GMA-Serie von Intel findet meist auf günstigen Notebooks oder Office-PCs Anwendung, wo 3D-Leistung in der Regel kaum eine Rolle spielt.

Intel selbst will von Tricksereien allerdings nichts wissen. Eine Stellungnahme dazu auf Tech Report:<blockquote><i>We have engineered intelligence into our 4 series graphics driver such that when a workload saturates graphics engine with pixel and vertex processing, the CPU can assist with DX10 geometry processing to enhance overall performance</i></blockquote>
 
Es ist im Grunde nichts neues, das wenn man damit bencht i.d.r alle Performance-Parameter aktiviert werden um eine Möglichst hohe Punktzahl zu erreichen, nur das ich das z.b manuell bewerkstelligt habe, was Intel hier scheinbar automatisiert hat. Wenn alle seriösen Seiten und Hersteller mit max Qualitätssettings benchen würde, sehe die Welt ganz anders aus.

Des letzteren darf man auch nicht vergessen, das es bei z.b Nvidia "abgespeicherte Profile" für Anwendungen und auch Benchmarks gibt, um seine Grafikkarte darauf anzupassen. Bei Intels GMA ist mir sowas nicht bekannt, bei ATI(AMD) weiß ich nicht ob sowas vorhanden ist, man könnte ja da mal ganz frech nachschecken welche Parameter dort eingestellt sind, daher mache ich Intel dahingehend keinen Vorwurf.

Allerdings frage ich mich, warum das allerdings gemacht wurde. Die Intel GMAs sind eh sehr bescheiden in der Leistung, gegenüber Nvidia o. ATI(AMD) das sollte Intel auch wissen. Das mag mit dem kommenden Larabee besser aussehen, aber das wird bis dahin wohl noch etwas dauern.
 
Zuletzt bearbeitet:
Das ist aber sehr einseitig beschrieben. Die Stellungnahme von Intel auf Seite 2 bei Techreport bleibt unerwähnt:
We have engineered intelligence into our 4 series graphics driver
such that when a workload saturates graphics engine with pixel and vertex processing,
the CPU can assist with DX10 geometry processing to enhance overall performance.
Das bedeutet, dass nicht nur bei 3Dmark Vantage, sondern auch bei anderen Anwendungen der Hauptprozessor zur Unterstützung herangezogen wird.
Von einem "Schummeln" bei 3DMark Vantage kann also keine Rede sein. Dasselbe stände nVidia oder AMD auch frei bei ihren IGPs.
 
Das ist ja nun nicht so extrem außergewöhnlich, eigentlich ist in allen Grafiktreibern eine Erkennung für bestimmte Executables drin (so bekommt man z.B. auf Radeons die Möglichkeit zu AA in Risen, wenn man die risen.exe in ut3.exe umbenennt). Das muß noch nicht unbedingt Betrug sein, möglicherweise einfach nur ein applikationsspezifischer Bugfix.

Die einzige wirklich sichere Methode, wie man solche Verdachtsmomente ausschließen kann, ist der Verzicht auf synthetische, realitätsfremde Benchmarks, denn niemand spielt 3DMark. Wenn einfach richtige Spiele getestet würden, dann wäre eine "Optimierung" für diese Spiele auch völlig ok (solange die Bildqualität nicht leidet), da es dann auch tatsächlich nutzbar ist. Natürlich sollten möglichst viele verschiedene Spiele getestet werden und nicht nur die üblichen drei Verdächtigen.
 
Das ist aber sehr einseitig beschrieben. Die Stellungnahme von Intel auf Seite 2 bei Techreport bleibt unerwähnt:Das bedeutet, dass nicht nur bei 3Dmark Vantage, sondern auch bei anderen Anwendungen der Hauptprozessor zur Unterstützung herangezogen wird.
Von einem "Schummeln" bei 3DMark Vantage kann also keine Rede sein. Dasselbe stände nVidia oder AMD auch frei bei ihren IGPs.

Wenn das eine "Andeutung" zu einem Core I Lappi mit Intels GMA darstellt dürfte es auch nicht verwunderlich sein, derzeit der schnellste Laptop-Prozessor kombiniert mit einer langsamen Intel IGP. :o
 
Von einem "Schummeln" bei 3DMark Vantage kann also keine Rede sein.
Ich lach mich kaputt *buck* Wenn diese Optimierungen nicht nur bei Benchmarks, sondern auch im "echten Leben" Anwendung finden (was ja löblich wäre); wieso wird diese "Optimierung" nicht vorgenommen, wenn der Benchmark von Vantage in Vintage umbenannt wird? :]
 
Genau, ist ja auch in den Futuremark Regeln vermerkt, was nicht zulässig ist.
Die Frage ist doch, warum das ganze hier nicht generell aktiv ist?

PS: ist doch bekannt, das Intel bescheisst, gab doch vor einiger Zeit erst Infos zum AF FIlter, der auf SIS Niveau sein soll.
 
Ich lach mich kaputt *buck* Wenn diese Optimierungen nicht nur bei Benchmarks, sondern auch im "echten Leben" Anwendung finden (was ja löblich wäre)...
Dem geht Techreport doch nach und kann auch eine Leistungssteigerung bei Crysis Warhead messen und Intel selbst nennt noch weitere Anwendungen. *noahnung*
Und es gibt dabei keine Einbußen bei der Bildqualität. Die Leistungssteigerung wird dieses Mal nicht durch das Weglassen von Effekten erzielt.

EDIT: Ich möchte ihr übrigens keineswegs die Grafiklösungen der Intel Chipsätze in Schutz nehmen, so ausgereift Intel Chipsätze ansonsten auch sein mögen.
Sie haben schon ihre Schwächen. Beispielsweise hat es ewig gedauert bis es Direct3D10 Treiber für den G35 gab und die Videobeschleunigung ist verbesserungswürdig.
 
Zuletzt bearbeitet:
Dem geht Techreport doch nach und kann auch eine Leistungssteigerung bei Crysis Warhead messen und Intel selbst nennt noch weitere Anwendungen. *noahnung*

Ist ja schön und gut, aber wenn man dann die Exe umbenennt dann bleibt auf einmal der Performanceschub aus (zumindest bei 3DMark. Wie das jetzt bei Crysis und anderen Anwendungen ist, hab ich noch nirgendwo gesehn)

Ist schon ein bisschen lächerlich wenn es nur von dem Namen der Exe abhängt.
 
Warum lächerlich, mal ein Beispiel. Solltest du eine Nvidia Karte im PC haben, ist i.d.r bereits ein Profil für 3D-Mark vorhanden, man kann auch selbst eines anlegen und auch da findet man die Exe Datei wieder, damit das Profil die Datei zuordnen kann. Würde man sie jetzt ändern, würde das Profil nicht greifen, so einfach ist das.
 
Wie das jetzt bei Crysis und anderen Anwendungen ist, hab ich noch nirgendwo gesehn.
Das beschreibt Techreport doch ganz genau. Sie haben die crysis.exe in crisis.exe umbenannt, um die These von Intel zu verifizieren.

warheada6uo.gif


Und es hat sich herausgestellt, dass auch dort die "3Dmark Vantage"-Optimerung greift. Einfach mal dort umblättern auf Seite 2.
 
Aber wir reden hier immer noch ein einer Intel-Grafik, die man nicht als spieletauglich bezeichnen kann?
 
Aber wir reden hier immer noch ein einer Intel-Grafik, die man nicht als spieletauglich bezeichnen kann?
Den Anspruch erheben sie an für sich auch nicht wirklich (von Marketinggeschwätz abgesehen). Dasselbe gilt aber auch für AMD und nVidia IGPs.

Was schlimmer wiegt ist der oben angesprochene Punkt mit der Videobeschleunigung. Ein aktueller G45 wird kaum mit einem 1080p h.264 Stream fertig: Klick
 
Vielleicht will Intel die Werbetrommel für kommende "echte" Grafikkarten rühren?
 
Ist es nicht schon paradox, daß gewerbliche Unternehmen 'objecktive' Tests/Benchmarks anbieten? Anstelle sich über Intels nicht wirklich als 'Schummeln bezeichenbaren Versuch nun zu mokieren sollte man sich überlegen, wo der Sinn dieser Spielzeugtests liegen mag.

Haben wir bei Prozessorentests nicht auch ein ähnliches Problem? es ist hinlänglich bekannt, daß Intels ICC Suite Intel-CPUs bevorzugt und auf diesen deutlich besser optimiert, obwohl, nachgewiesenermaßen, auch auf AMD der gleiche, wenn nicht bessere Instruktions-Satz existiert? Offenbar ist das so 'trivial', daß sich hierüber kaum noch jemand aufregt. Keiner weiß, mit welchem Compiler letztlich die Tests/Benchmarks zur CPU-Vermessung compiliert wurden.

Immer wieder interessant finde ich deshalb Vermessungen via SPECSuite, die auf die GNU C Compiler-Suite aufsetzen, wo sich plötzlich, bei etwa gleichem Code-Generator, Intel und AMD 'ähnlich' sind.
Das mag jetzt sehr OT sein, dennoch bin ich der Meinung, daß man, anstelle sich über Intels Vorgehen, eher Gedanken darüber machen sollte, ob und wie man in Zukunft mit diesen 'Vermessungstests' umgehen will. Könnte dies nicht die Geburtsstunde einer Verlautbarung dieser Web-Site sein, in Zukunft auf den o.g. Benchmark gänzlich zu verzichten?
 
Das Hauptargument in diesem Fall für Intel ist ganz klar, dass durch diese "Optimierung" keine Qualitätseinbußen hingenommen werden müssen, weshalb das Ganze überhaupt nicht dramatisch ist. Was hier passiert ist im Prinzip ja nur, dass Teile der Geometrieberechnungen nicht mehr in der IGP in Hardware, sondern auf der CPU in Software durchgeführt werden, weil CPUs hier offenbar schneller arbeiten, als lahme Intel GMA "Schrottgrafikkerne". Da diese aber in Punkto Spieleleistung sowieso gar nichts zu melden haben, frage ich mich, warum man sich darüber überhaupt aufregt. Ich mag Intel zwar nicht, aber diese Sache würde ich ihnen nicht vorwerfen.
 
Nero24 schrieb:
Sobald die Tester bei Tech Report jedoch die 3DMarkVantage.exe in 3DMarkVintage.exe umbenannten, reichte es nur noch zu 2132 Punkten.

Hat schon jemand die Doppel-Blindprobe gemacht? Eine beliebige selbstablaufende Demo (ich schlage die von X3TC vor) in 3DMarkVantage.exe umbenennen und das Ergebnis betrachten?
 
Was hier passiert ist im Prinzip ja nur, dass Teile der Geometrieberechnungen nicht mehr in der IGP in Hardware, sondern auf der CPU in Software durchgeführt werden, weil CPUs hier offenbar schneller arbeiten, als lahme Intel GMA "Schrottgrafikkerne". Da diese aber in Punkto Spieleleistung sowieso gar nichts zu melden haben, frage ich mich, warum man sich darüber überhaupt aufregt. Ich mag Intel zwar nicht, aber diese Sache würde ich ihnen nicht vorwerfen.

Ganz einfach: in einem GPU Benchmark einen Prozessor, eine Physikkarte oder sonst was zur Hilfe zu nehmen, ist einfach Betrug, Punkt.
 
Ganz einfach: in einem GPU Benchmark einen Prozessor, eine Physikkarte oder sonst was zur Hilfe zu nehmen, ist einfach Betrug, Punkt.
Warum bringt 3DMark Vantage dann eigene CPU Test mit, wenn es allein die Grafikkarte vermessen soll?

Ich würde sagen es wird immer das Dreigespann aus Hauptprozessor, Arbeitsspeicher und Grafikprozessor getestet.

Und Intel hat nun etwas die Gewichtung im Hintergrund verschoben, ohne aber unzulässig in das Benchmark einzugreifen.
 
nur doof das fast alle test mit 4ghz quad laufen aber wenn man als normaler zockt wird man sicherlich keine so dicke maschine haben die dann der arbeit der gpu ohne probleme erledigt.


verfälscht also jeden test wo man nit einen komplett pc testet.



ist auch ein problem bei NV vs ATi meiner meinung nach.
NV optimiert immer extrem ihre Treiber ATi nicht ganz so extrem. wenn man jetzt also ein game spielt das keine Beachtung bei NV und ATI findet ist man bei ATI deutlich besser drann.
 
Ich lach mich kaputt *buck* Wenn diese Optimierungen nicht nur bei Benchmarks, sondern auch im "echten Leben" Anwendung finden (was ja löblich wäre); wieso wird diese "Optimierung" nicht vorgenommen, wenn der Benchmark von Vantage in Vintage umbenannt wird? :]

Dem ist nichts hinzuzufügen. Offenbar kann die Software die besagten "Optimierungen" nur vornehmen, wenn sie weiß was kommt. Das ist bei normalen Anwendungen eben nicht vorhersehbar. Hier wird der Anwender einfach beschissen.

Ciao Jens
.
EDIT :
.

Das Hauptargument in diesem Fall für Intel ist ganz klar, dass durch diese "Optimierung" keine Qualitätseinbußen hingenommen werden müssen, weshalb das Ganze überhaupt nicht dramatisch ist. Was hier passiert ist im Prinzip ja nur, dass Teile der Geometrieberechnungen nicht mehr in der IGP in Hardware, sondern auf der CPU in Software durchgeführt werden, weil CPUs hier offenbar schneller arbeiten, als lahme Intel GMA "Schrottgrafikkerne". Da diese aber in Punkto Spieleleistung sowieso gar nichts zu melden haben, frage ich mich, warum man sich darüber überhaupt aufregt. Ich mag Intel zwar nicht, aber diese Sache würde ich ihnen nicht vorwerfen.

Äh, ich glaube du versteht nicht worum es geht. Wenn die Software erkennt, dass sie bestimmte Dinge schneller auf der CPU als auf dem IGP machen kann, SUPER!!! Das sollte sie aber automatisch an der Art der Rechenaufaugabe erkennen und nicht an dem Namen der Rechenaufgabe. Sonst müßtest du dieser "Optimierung" während des Ballerspiels ständig mitteilen das auf die CPU das auf die IGP...

Deswegen ist das einfach Beschiss.

Ciao Jens
 
Das ärgerliche ist doch Folgendes:

Der 3DMark wird von vielen Leuten gerne als vergleichende Instanz angesehen, er gibt so eine schöne Punktzahl aus.

Intel schafft es nun die Grafiktests im 3DMark per CPU-Hilfe so zu tunen das insegesamt eine höhere Punktzahl herauskommt. Damit entscheiden sich Käufer für Boards mit Intels GMA anstatt z.B. für Boards mit NVidia-Grafikchips (und damit für AMD Prozessoren).
Das ärgerliche daran ist einfach das der Kunde aufgrund des gefälschten Benchmarks ein langsameres System kauft.

Der 3dMark hat ja CPU und GPU Tests. Wenn die CPU aber bei den GPU-Tests mithilft sind die Werte nicht mehr vergleichbar. Natürlich könnten andere Hersteller das auch machen, klar.
Beim 3dMark ist die CPU während der Grafiktests recht unterbeschäftigt. Bei Spielen die eine KI erfordern ist die CPU aber eh schon beschäftigt und dann leistet das Intel-befeuerte Gesamtsystem deutlich weniger als die Lösungen der Konkurrenz die im 3dMark eine sehr ähnliche Fantasiezahl ausgespuckt haben.

Es geht gar nicht mal so um die Leistung, wenn durch Treiberoptimierungen der Kunde hier und dort Mehrleistung bekommt ist das gut. Es geht darum das man die Kunden verarscht um sie dazu zu bewegen Systeme von Intel zu kaufen.
 
...und vor allem sollte der Verzerrungseffekt durch die Systeme der Tester mit bedacht werden.

Es ist ja gemeinhin so, dass zum testen von Grafikkarten ordentliche Schlachtrösser als CPU eingesetzt werden, damit es zu so geringen CPU-Limitierungen wie möglich kommt. Das bedeutet im Umkehrschluss aber eben auch, dass es häufiger und deutlich mehr verfügbare freie Rechenzeit gibt, welche die CPU zur "Beihilfe" im DX10 Modus nutzen darf, welche dem geneigten Heimanwender sicherlich nicht zur Verfügung steht, weil gemeinhin eben kein Core i7 übertaktet auf 3,6 GHz im System werkelt sondern nur ein DualCore mit 2,6 GHz oder sowas.

Daher entsteht natürlich schon eine Verzerrung der Testergebnisse zum Nachteil des Kunden, da eine Vergleichbarkeit der einzelnen Grafikkarten nur noch im Kontext der verwendeten CPU zum Testzeitpunkt möglich ist...und damit meine ich nicht wie bisher, dass man eben bedenkt, dass dort quasi gleichmäßig auf allen Werten der Karten ein Faktor X für starke CPU draufliegt sondern, dass Graka xy eben deutlich stärker von einer besseren CPU profitiert als Graka ab
 
Offenbar kann die Software die besagten "Optimierungen" nur vornehmen, wenn sie weiß was kommt. Das ist bei normalen Anwendungen eben nicht vorhersehbar.
[...]
Wenn die Software erkennt, dass sie bestimmte Dinge schneller auf der CPU als auf dem IGP machen kann, SUPER!!! Das sollte sie aber automatisch an der Art der Rechenaufaugabe erkennen und nicht an dem Namen der Rechenaufgabe. Sonst müßtest du dieser "Optimierung" während des Ballerspiels ständig mitteilen das auf die CPU das auf die IGP...

Ja gut, wenn man es so sieht, dann stimme ich zu. Ich schätze aber, dass es für die Treiberprogammierer so der einfachere Weg ist, und wie man liest, reagiert der Treiber ja auch auf diverse Spiele-Exen. Unterm Strich, würde ich mal sagen, liegt es an Futuremark. Wenn die solche Treiber verifizieren, bzw. zertifizieren, ist es deren Schuld, wenn reine GPU-Ergebnisse dadurch verwässert werden. Intel macht ja nicht die Regeln, es liegt beim Benchmarkhersteller, hier einen Riegel vorzuschieben. Mal sehen.
 
Das heißt ich kann auf meinem nettop einfach jede Gameexe in Crysis.exe oder Vantage.exe umbenennen und dann gehen unoptimierte spiele schneller? Mir wäre es da ziemlich egal ob da die quali nen bissel leidet :D
 
Zurück
Oben Unten