Diese Website verwendet Cookies, um Ihnen ein besseres Nutzungserlebnis bieten zu können. OK
3 Min Lesezeit 29 mal geteilt 34 Kommentare

Wenig schockierend: Meizu und OnePlus zinken Benchmark-Ergebnisse

Das Credo "Benchmarks sagen nichts über die Performance eines Smartphones aus" erweist sich einmal mehr als wahr. Smartphones der Hersteller Meizu und OnePlus wurden dabei erwischt, ihre Smartphones nur auf bestimmte Apps hin zu optimieren; darunter insbesonere Benchmark-Apps. Damit suggerieren die Geräte eine Leistung, die sie in der realen Nutzung nicht bieten und ihre Hersteller verwirren Kaufinteressenten.

In Zusammenarbeit mit App-Entwicklern hat sich Steven Zimmerman von den XDA-Developers auf Spurensuche begeben. Mit einer getarnten Version von Geekbench wollte man nachsehen, ob unter anderem das OnePlus 3 oder weitere Smartphones Benchmark-Apps als solche erkennen und ihre Prozessorleistung für die Dauer des Tests unnatürlich aufdrehen.

Leider kamen dieser und weitere Tests beim OnePlus 3 und beim Meizu Pro 6 positiv zurück: Beide Hersteller optimieren insbesondere für Benchmarks. Zum Testzeitpunkt ließ sich dies nicht mit einem Google Pixel, einem Xiaomi Mi Note 2 oder anderen Geärten reproduzieren, heißt es in dem Bericht weiter.

AndroidPIT Meizu Pro 6 Plus front
Das Meizu Pro 6 Plus arbeitet eigentlich ganz sparsam. / © AndroidPIT

Wie funktioniert die Optimierung?

OnePlus hat sogar zugegeben, dass es bestimmte "Mechanismen" gibt, nach denen der Proezssor "aggressiver" arbeitet. Erkennt er also eine bestimmte App, wird der Takt erhöht. Wird sie nicht erkannt, läuft der Prozessor sparsamer und erzielt eine mess- und fühlbar geringere Leistung. OnePlus hat gegenüber den Testern bestätigt, diese Praxis in kommenden Updates wieder zu entfernen.

Interessanterweise waren erste bei den Redaktionen eintreffende Testmuster nicht mit dieser Optimierung versehen. Somit war es weniger wahrscheinlich, dass OnePlus mit dieser Methode erwischt wird. Nach einigen Updates wurde dieses Software-Feature jedoch heimlich aufgespielt. Mögliche Gründe dafür erläutern wir unten.

Warum ist das für den Nutzer schlecht?

Viele potenzielle Käufer schauen genau auf die gemessene Leistung der Smartphones. Diese erfahren sie in großen Vergleichstabellen, die im Netz zu finden sind. Insbesondere die Datenbanken der Benchmark-Hersteller wie Geekbench oder AnTuTu werden dann aufgesucht. Anschließend vergleichen diese Interessenten die Preise der Top-Geräte. Und hier kommen wir schon zur Antwort auf die nächste Frage.

Warum machen die Hersteller das?

OnePlus hat sein Top-Modell schon immer als das günstigste Smartphone mit der schnellsten Hardware angepriesen. Wer Top-Hardware zum Mittelklasse-Preis bietet, fischt die meisten Kunden ab, die nach der zuvor genannten Methode ihr neues Gerät auswählen. Doch der Kampf um die ersten Plätze in den Tabellen wird immer härter.

Die Menge an unterschiedlichen Prozessoren auf dem Smartphone-Markt ist überschaubar. Prinzipiell sind nur zwei relevante Alternativen frei verfügbar; und das sind die jeweils aktuellen Spitzen-Modelle der Serien Qualcomm Snapdragon oder Samsung Exynos. Also liegen die Messergebnisse gleich ausgestatteter Geräte in solchen Vergleichstabellen denkbar nah beieinander.

Top Smartphone 2016 1
Typischer Vergleich der Balkenlänge in Android-Benchmarks. / © AnTuTu

Die Prozessoren lassen sich jedoch anhand von Treibern, also Kernel-Steuerungen oder Governors optimieren. Die neuen Berichte deuten jedoch darauf hin, dass diese Optimierungsmöglichkeiten ausgenutzt wurden, um zu bestimmten Zeitpunkten bessere Ergebnisse in bestimmten Benchmarks zu erzielen. Damit konnte man die Position in den Rankings erhöhen und einen Marketing-Erfolg erzielen. Dass man damit falsche Hoffnungen bei den Käufern schürt, nahm man offenbar billigend in Kauf.

Was Smartphone-Hersteller tun sollten

Es ist theoretisch mögich; und Meizu sowie Samsung tun das schon; dass der Nutzer die Kontrolle über das Leistungsprofil des Smartphones erhält. Der sogenannte Performance- oder Hochleistungs-Modus versetzt den Prozessor in einen weniger auf Sparsamkeit und mehr auf Arbeitstempo optimierten Zustand, der in Spielen für bessere Grafik, mehr FPS oder in Bildbearbeitungs-Apps für kürzere Wartezeiten sorgt.

Opinion by Eric Herrmann
Ich will die CPU-Optimierung selbst steuern können.
Stimmst du zu?
50
50
375 Teilnehmer

Portale für Benchmark-Vergleiche sollten in ihren Tabellen markieren, welche Ergebnisse im Performance- und welche im Normal-Modus erstellt wurden. So ist für die Kaufinteressierten ersichtlich, wann sie diese Leistung zu erwarten haben. Und dann kann aus diesem kleinen Skandal ein großer Nutzen für alle User entstehen.

Quelle: XDA-Developers

29 mal geteilt

Top-Kommentare der Community

  • Simon S.
    • Blogger
    vor 1 Monat

    Hier wird nicht gezinkt, hier geht es darum, dass manche Hersteller eben ein besseres automatisches CPU-Management haben als Andere - es ist doch vollkommen legitim, wenn die Leistung nur gebracht wird, wenn sie wirklich gefordert wird. Und wenn sie nun Benchmark-Apps als High-Performance Apps erkennen und dementsprechend steuern, dann sollen sie das doch meinetwegen (wenn juckts?).

    Nochmal: Die Leistung ist trotzdem da - sie muss auch nicht im Ruhezustand, oder bei trivialen Aufgaben konstant abgerufen werden (im Umkehrschluss wäre die Batterie schneller leer, als ihr bis Drei zählen könnt).

    Hotplug und Governor sind da zwei Schlagworte die mir dazu einfallen. Allein der interactive Governor hat viel Optimierungspotential - und wird von vielen Herstellern mit den gängigen Standardeinstellungen betrieben. Solche Feinheiten machen eben einen riesen Unterschied aus. Am besten merkt man das, wenn man sich ein paar hochwertige Custom-Kernels (wohlgemerkt, davon gibt es nicht soviele) anschaut, die eben genau das machen und im Resultat das System um einiges flüssiger machen und/oder Batterie sparen und/oder Wärme reduzieren.

    Wenn jetzt Hersteller hergehen, und dieses Management manuell anpassbar machen, gibt es zwei essentielle Probleme:

    Sie haben doppelte Arbeit, wenn sie mit vordefinierten Profilen arbeiten und müssen diese entsprechend optimieren (so dass den Leuten das Smartphone im schlimmsten Fall nicht das brennen anfängt oder im Bootloop festhängen bleibt).

    Und die zweite Alternative wäre der manuelle Zugriff auf Kernel-Parameter wie Core-Frequenzen und Governor-Einstellungen. Kernel Finetuning ist eine Kunst, die nicht mal von vielen Entwicklern beherscht wird - ich kann mir nicht vorstellen, dass das besonders zielführend wäre. Höchstens über Profil Import/Export und Communityunterstützung.

    So oder so - so einfach wie ihr euch das vorstellt, wird es nicht funktionieren.

    Man denke nur mal an die Ganzen Garantieprobleme die daraus resultieren würden und führe sich das Debakel mit dem Note 7 und den Ganzen daraus resultierenden Shitstorms diesbezüglich (beispielsweise das allgemeine Verbot von Note 2 Geräten bei einer Fluglinie in den USA).

34 Kommentare

Neuen Kommentar schreiben:
  • Thom vor 1 Monat Link zum Kommentar

    Willkommen in der heutigen Zeit! Alltag nennt man das. Leider !

  • In der Wirtschaft wird überall "übers Ohr gehauen" mal mehr, mal weniger. Die dokumentierten Ereignisse der Vergangenheit zeigen es auf.
    Also...wen schert es wirklich?!

  • Schockschwerenot

  • Also ich habe mal gerade einen Blick auf die Benchmarkergebnisse geworfen. Die Unterschiede lagen bei 1-1,5%. Ok, es wurde optimiert, aber bei 1-1,5% besseren Werten ist das in meinen Augen weder ein Drama noch ein großer Skandal. Eigentlich eher ein Indiz dafür, das es leistungsmäßig selbst mit dem Standardprofil schon fast ausgereizt ist.

  • Benchmarks wird viel zu viel Bedeutung zugemessen. Deshalb lohnt es sich für die Hersteller, möglichst gut darin abzuschneiden. Für Otto Normal sollte nur entscheidend sein, ob ein Gerät flüssig läuft. EIn Snapdraggon 6xx mit 2 GB als Untergrenze sollte dazu jedem reichen. Wer mehr Ansprüche stellt, geht halt höher. Ob es aber ein 810 oder 820 ist, ist so egal wie 400 oder 500 PS beim Auto. Es nutzt nur dem Ego.

  • Wer weiß, vielleicht ist das auch bewusst so gemacht worden. Auch negative Werbung ist schlussendlich Werbung.

  • Leon R.
    • Mod
    vor 1 Monat Link zum Kommentar

    Also mir ist die Performance eines Gerätes mittlerweile echt nicht mehr so wichtig. Klar war es vor ein paar Jahren noch wichtig zu wissen, ob die CPU nun 200Mhz höher taktet oder nicht, einfach weil es damals noch ein riesen Unterschied zu Folge hatte. Aber in Zeiten von genug Leistung halte ich es für wichtiger, dass der Speicher schnell ist, und die Software vernünftig programmiert ist. Das sind heutzutage einfach die größten "Performance"-Lieferanten.
    Nichts desto trotz ist es natürlich nicht okay, wenn man die Leistung die im Benchmark angezeigt bekommt, in keinem anderen Szenario abrufen kann.

  • Hier wird nicht gezinkt hat ein gewisser Autohersteller auch gesagt!

  • Ich glaube mich erinnern zu können, dass HTC die erste Firma war die eine Art Performance Modus inoffiziell ins System eingefügt hatte, danach Samsung und jetzt auch die Chinesen...

    Wenn bald alle abschreiben, dann schreibt keiner in der Smartphone-Klasse ab 😅😂

    Es wäre aber für die Zukunft cool, die Performance wie mit Custom Kernels als User selber einzustellen!!! Mal mehr Power, mal mehr Akkulaufzeit und mal mixed Modus...

    Denn der Akkusparmodus der bisher angewandt wird, ist gefühlt nichts Halbes, nichts Ganzes 😕😬

  • In einer Zeit, in der jede Hinterhof-Butze ein Smartphone zusammenklöppeln kann, wird es immer schwieriger sich von der Konkurrenz abzugrenzen. Wenn nicht genügend Ressourcen vorhanden sind, dann schummelt man halt ein wenig. Nur blöd, wenn man erwischt wird. Traurig, aber wenig schockierend.

  • 1. Ist doch wohl klar das die uns veäppeln.
    2.ist mir das echt egal.
    3.Hauptsache das Gerät läuft flüssig und ist für meine Bedürfnisse geeignet.

  • VW læsst gruessen. Ich glaub ich bin abgestumpft. Ich rechne einfach damit, dass Firmen schummeln. Ein Artikel ueber ehrliche Menschen / Firmen wuerde mich glaub ich mehr erschuettern als die neueste Enthuellung ueber Schummelsoftware, Panamapapire, Lebensmittelskandal etc.

  • "Viele potenzielle Käufer schauen genau auf die gemessene Leistung der Smartphones"

    eine Hand voll Geeks, aber die breite Masse interessiert das nicht.

    • Das dachten einige Autohersteller wohl auch ;-)

    • "Viele" ist da ein sehr dehnbarer Begriff. Gemessen an der gesamten Zahl der Käufer wohl gering, aber wenn es sagen wir 200000 sind, die genau auf Benchmarks schauen ist diese Zahl allein auch wieder viel. Und wahrscheinlich 200000 potentiellen Kunden mehr die Geld einbringen.

  • Viele Nutzer schauen auf diese Werte ganz genau? Hmmm würde behaupten, dass die wenigsten darauf schauen, ich kenne niemanden der das tut, seien es nun Freaks oder unbedarfte Nutzer...

    • Es sind auch gemessen an der Zahl aller Käufer wohl nicht sehr viele. Aber immerhin ein gewisser Prozentsatz an Käufern die denen Benchmarks wichtig sind oder zumindest in den hohen Werten einen weiteren Kaufgrund sehen. Und schon hat man wieder 3% mehr Smartphones verkauft.

    • Falsche Ecke. Wichtiger ist, dass die Forenbetreiber darauf reinfallen und die Geräte dann an Toppositionen einordnen. Und DANN hat das sehr wohl Einfluss auf das Urteil der potentiellen Käufer. Denn auf die Ranglisten der Fachforen schauen die Kunden fast immer ...

  • Verbrecherpack! Das ist arglistige Täuschung!!!

Zeige alle Kommentare

Diese Website verwendet Cookies, um Ihnen ein besseres Nutzungserlebnis bieten zu können. Mehr dazu

Alles klar!