Benchmark-Betrug – Huawei-Smartphones von 3D-Mark ausgeschlossen

Smartphones des chinesischen Unternehmens Huawei und des Tochterunternehmens Honor sind wegen Manipulation der Ergebnisse aus der Bestenliste des 3D-Mark-Benchmarks geflogen. Der Entwickler des Benchmarks UL.com (ehemals Futuremark) hat das Huawei P20 Pro, P20 und Nova 3 sowie das Honor Play aus dem Ranking ausgeschlossen.

Gefunden wurden die Manipulationen durch das IT-Magazin AnandTech, die vor wenigen Tagen in einem Testbericht über die auffälligen Benchmark-Ergebnisse der betroffenen Huawei-Geräte berichtete. Anschließend hat UL die Ergebnisse verifiziert und festgestellt, dass die sehr guten Benchmark-Ergebnisse dadurch erreicht wurden, dass Huawei den Prozessor automatisch übertaktet, sobald der Benchmark gestartet wurde. Im Alltagseinsatz erfolgt diese Übertaktung nicht und die Leistung entspricht daher nicht den im Benchmark erzielten Ergebnis.

Manipulation erhöht Leistung um 47 Prozent

Um die Manipulation der Ergebnisse zu überprüfen, wurde der Benchmark einmal mit der öffentlich verfügbaren Version der App durchgeführt und einmal mit einer Version, die nur die Entwickler besitzen. In der öffentlich verfügbaren Version, die offensichtlich von Huawei erkannt wird, waren die erzielten Ergebnisse um bis zu 47 Prozent besser als in der "geheimen Version" der Entwickler, bei der Huawei die automatische Übertaktung nicht aktivieren konnte. Das Huawei P20 Pro erzielte im Sling Shot Extreme Test bei Nutzung der öffentlichen Versionen 2.988 Punkte, bei der geheimen Version ohne Übertaktung wurde nur 1.930 Punkte erreicht.

Huawei gibt Manipulation zu

Nach der Veröffentlichung der Manipulation hat Huawei gegenüber UL und AnandTech bereits die Manipulation der Ergebnisse zugegeben. Dabei hat das Unternehmen angemerkt, dass auch andere chinesische Smartphone-Hersteller so vorgehen. Der dabei eingesetzt "Performance-Modus" soll laut Huawei in Zukunft transparenter verwendet werden. Statt nur für bessere Benchmark-Ergebnisse zu sorgen, soll der Performance-Modus auch wahlweise durch den Nutzer zum Beispiel bei anspruchsvollen Spielen genutzt werden können. Huawei würde durch die Änderung die Richtlinien des Benchmarks erfüllen, was auch die Wiederaufnahme in die Bestenliste ermöglicht.

In der Vergangenheit kam es sowohl bei Computern als auch bei Smartphones regelmäßig zu manipulierten Benchmark-Ergebnissen, die durch besonders optimierte Treiber und übertaktete Hardware erzeugt wurde. Besonders bei deutlich herausragenden Smartphones können Manipulationen auch durch Laien leicht erkannt werden, da nur wenige SoC existieren, die von den verschiedenen Herstellern für ihre Smartphones eingekauft werden. Die Leistung der Smartphones mit demselben SoC wie zum Beispiel dem Qualcomm Snapdragon 845 im aktuellen Fall können daher gar nicht weit auseinandergehen.