Diese Website verwendet Cookies, um Ihnen ein besseres Nutzungserlebnis bieten zu können. OK
2 Min Lesezeit 24 mal geteilt 33 Kommentare

So testen wir die Leistung von Smartphones

Lange haben wir uns gestritten und gerangelt und nun kamen wir zu einer Einigung: Das sind unsere Testkriterien für die Leistung von Smartphones. Das ist der AndroidPIT-Testparcours.

Bei der Bewertung von Smartphone-Performance haben wir in der Redaktion nun einen Standard geeinigt, den wir künftig bei allen Smartphone-Tests anwenden werden. Dieser setzt sich aus einer Mischung aus synthetischen Prozessor-Benchmarks und praktischen Tests zusammen.

Die synthetischen Benchmarks, die wir verwenden, sind die folgenden Play-Store-Apps:

Vellamo Mobile Benchmark Install on Google Play Antutu Benchmark Install on Google Play Geekbench 4 Install on Google Play AnTuTu Tester Install on Google Play Basemark X Game Benchmark Install on Google Play

Wir notieren akribisch die Versionen der Apps und der Smartphone-Firmware. Wenn ein Smartphone eine neue Firmware erhält, testen wir neu.

Die Benchmarks Vellamo Metal, Vellamo Multicore, AnTuTu, Geekbench 3 (beide Ergebnisse) und Basemark (Medium und High) lassen wir je dreimal durchlaufen. So läuft das Smartphone ordentlich heiß. Dann setzt thermische Drosselung ein und genau das wollen wir. Denn so zeigt sich, ob das Smartphone zuverlässig schnell ist.

androdipit meizu pro 5 screen
Das Meizu Pro 5 ist derzeit unser Referenzgerät. / © ANDROIDPIT

Wir notieren die durchschnittlichen Ergebnisse und vergleichen das Ergebnis mit dem Referenzgerät. Jenes ist das, was im Schnitt aller Tests das höchste Ergebnis erzielt.

Punktabzug gibt es, wenn das Smartphone sich in der Praxis schlechter verhält als es aus den Benchmarks hervorgeht. Beim Galaxy S6 Edge+ etwa laden Apps super-langsam, weil das RAM-Management sie im Hintergrund ständig schließt. Andere Smartphones wie das Gigaset ME stürzen ständig ab.

Wie testet Ihr Eure Smartphones? Welches sind Eure Tests des Vertrauens? Habt Ihr Verbesserungsvorschläge?

24 mal geteilt

Top-Kommentare der Community

  • Ole gag 06.12.2015

    Ich bin nur hier um mir die unnötigen Kommentare der Hater durchzulesen.

  • Samuel Patrick 06.12.2015

    und um selber einen unnötigen Kommentar dazulassen

  • Michael K. 07.12.2015

    Ich sehe Benchmarks nicht als sinnlos an, aber sie sind begrenzt in ihrer Aussagekraft und mitunter schwierig zu interpretieren. Aber warum das so ist, können andere viel besser erklären:

    http://www.techstage.de/ratgeber/Was-taugen-Benchmarks-Und-wie-wertet-man-Smartphones-2035727.html

    dass hier gerne mal ein wenig "geschönigt" wird, war schon aus der PC-Welt bekannt, dass es bei Smartphones nicht unbedingt besser ist, kann man hier (in verschiedenen Artikeln) nachlesen. Die dort angewandten Tricks erinnern schon stark an den "Dieselgate"-Skandal, aber das hat auch schon ein anderer Kommentator geschrieben. So erkennt die Software der Geräte mitunter, dass ein Benchmark gerade läuft:

    http://www.techstage.de/thema/Benchmark

    Die Praxistests sind allerdings auch nicht unproblematisch, da sie mitunter sehr von subjektiven Eindrücken geprägt sind.
    Wann läuft ein Smartphone "flüssig"? Wann ruckelt eine Videowiedergabe, oder besser gesagt, wer nimmt dieses Ruckeln noch war, und wer nicht mehr? Wann ist Audiowiedergabe verzerrt oder zu leise?
    Das sind Schwächen der Praxistests, die die Benchmarktests eigentlich vermeiden sollten:

    Eine definierte Testumgebung, die reproduzierbare Ergebnisse liefert, unabhängig davon, wer den Test durchführt.

    Kameratests sind dabei nochmal ein ganz eigenes Kapitel, ein Faß, dass ich an dieser Stelle lieber erst gar nicht öffne.

    Was ich an diesem Artikel sehr vermisse, der die Praxistests nicht weiter beschreibt, was aber eine große Chance der Praxistests wäre:
    Würden auch die Praxistests in einer definierten Form immer gleich, und detailliert beschrieben durchgeführt, so könnten die Leser die Tests selber nachvollziehen und überprüfen (soweit die Möglichkeiten dafür vorhanden sind, bei ganz neuen Geräten z.B. eher nicht, wenn diese später aber erworben werden, nachträglich) oder mit anderen Geräten vergleichen. Sie könnten auch selber beurteilen, ob die subjektiven Anteile überhaupt relevant für sie selber sind, so ähnlich wie in dem oben verklinkten Video ja auch zum Ausdruck gebracht wird.
    Eine Möglichkeit, die Praxistests für den Leser transparent zu machen wäre, wie weiter unten in den Kommentaren vorgeschlagen, ihre Durchführung in Videos zu dokumentieren.
    Möglich, dass die Tests im Lauf der Zeit angepasst werden müssen (die Geräte gewinnen an Performance, Features usw.). Dann werden diese Anpassungen eben durchgeführt und dokumentiert, aber die Vergleichbarkeit mit den älteren Tests geht verloren. Darauf wird hingewiesen, und das wars dann.
    Der Charme solcher Praxistests könnte in einem weiteren Schritt sogar darin bestehen, die Community aktiv in die Tests einzubeziehen, ihre Testergebnisse (auch gegen andere Geräte) zu berücksichtigen, und in den Kommentaren Vergleiche mit den AP-Tests zu ermöglichen.

    Quelle: www.techstage.de

  • Tim 06.12.2015

    Kurzum:

    Eure "Testverfahren" zur Bestimmung der Performance sind einfach nur jämmerlich.
    Der einzige Benchmark, der evtl. im Ansatz einen Nutzen besitzt, ist der GFX-Bench, da dieser neben stumpfen Zahlen auch einen anderen Wert zeigt und das ist die thermische Entwicklung.

    Was bringen mir solche sinnfreien Benchmarkwerte, wenn die allgemeine Software nicht stimmt. Das haben Samsung und LG bis letztes Jahr eindrucksvoll gezeigt: Absolute Top-Ergebnisse in den Benchmarks aber die Alltags-Performance war schwach.

    Ich meine klar, bei einem einfachen Blog braucht man wirklich keine super-HIgh-End-Equip, wie es irgendwelche Labore besitzen, aber es gibt andere Wege herauszufinden, ob ein Gerät gut läuft...

    Zum Beispiel:
    Macht Gaming-Videos mit einer kleinen zur Schaustellung der Oberfläche, indem man einfach ein paar Menüs durchklickt, Multitasking und Co. nutzt und zeigt, ob es flüssig läuft, Am besten natürlich mit 60fps gefilmt.

    Aber hier einfach nur 5 Benchmarks aufzulisten und das allen ernstes in die "Bewertung von Smartphone-Performance" einfließen zu lassen, ist dumm.

    Und wie ich meine Geräte teste? GAR NICHT. Ich kaufe sehe mir ordentliche Reviews an und lese mehrere Tests bevor ich dazu eine Entscheidung fälle. So ein Schrott mit Benchmarks tue ich keinem Gerät an, weil es absolut sinnlos ist. Wenn ich mein Smartphone benutze, sehe ich, ob es flüssig läuft oder nicht, dafür braucht es keine Benchmarks, die meistens nicht einmal im Ansatz widerspiegeln, wie die alltägliche Performance ist.

33 Kommentare

Neuen Kommentar schreiben:
  • Hallo liebes AndroidPIT Team. Ich will jetzt gar nichts über diesen Beitrag im speziellen schreiben, aber eure Rechtschreibung lässt des öfteren zu wünschen übrig. Ihr seid doch Redakteure oder?

    "Bei der Bewertung von Smartphone-Performance haben wir in der Redaktion nun einen Standard geeinigt, den wir..."
    Sollte vielleicht heißen:
    "Bei der Bewertung von Smartphone-Performance haben wir UNS in der Redaktion nun AUF einen Standard geeinigt, den wir..."

    "Wie teste Ihr Eure Smartphones?"
    Könnte man auch so schreiben:
    "Wie testeT Ihr Eure Smartphones?"

  • Benchmarks und und reale Praxisorientierte Erfahrungen.
    Siehe altes nexus5. Es steckt die neuen in die Tasche.

    • Haha, nein

      • Aber sicher. Dutzende Videos auf YouTube.
        Liegt an der Verschlüsselung die am n5 nicht aktiviert ist. n6 n5x 6p n9 sind ab Werk verschlüsselt.

        Und wie schneller das alte performt
        Im Benchmarks verliert es haushoch.

        Haha guckst du.

        Benchmarks und reale Power sind zwei verschiedene Dinge.

  • Ich sehe Benchmarks nicht als sinnlos an, aber sie sind begrenzt in ihrer Aussagekraft und mitunter schwierig zu interpretieren. Aber warum das so ist, können andere viel besser erklären:

    http://www.techstage.de/ratgeber/Was-taugen-Benchmarks-Und-wie-wertet-man-Smartphones-2035727.html

    dass hier gerne mal ein wenig "geschönigt" wird, war schon aus der PC-Welt bekannt, dass es bei Smartphones nicht unbedingt besser ist, kann man hier (in verschiedenen Artikeln) nachlesen. Die dort angewandten Tricks erinnern schon stark an den "Dieselgate"-Skandal, aber das hat auch schon ein anderer Kommentator geschrieben. So erkennt die Software der Geräte mitunter, dass ein Benchmark gerade läuft:

    http://www.techstage.de/thema/Benchmark

    Die Praxistests sind allerdings auch nicht unproblematisch, da sie mitunter sehr von subjektiven Eindrücken geprägt sind.
    Wann läuft ein Smartphone "flüssig"? Wann ruckelt eine Videowiedergabe, oder besser gesagt, wer nimmt dieses Ruckeln noch war, und wer nicht mehr? Wann ist Audiowiedergabe verzerrt oder zu leise?
    Das sind Schwächen der Praxistests, die die Benchmarktests eigentlich vermeiden sollten:

    Eine definierte Testumgebung, die reproduzierbare Ergebnisse liefert, unabhängig davon, wer den Test durchführt.

    Kameratests sind dabei nochmal ein ganz eigenes Kapitel, ein Faß, dass ich an dieser Stelle lieber erst gar nicht öffne.

    Was ich an diesem Artikel sehr vermisse, der die Praxistests nicht weiter beschreibt, was aber eine große Chance der Praxistests wäre:
    Würden auch die Praxistests in einer definierten Form immer gleich, und detailliert beschrieben durchgeführt, so könnten die Leser die Tests selber nachvollziehen und überprüfen (soweit die Möglichkeiten dafür vorhanden sind, bei ganz neuen Geräten z.B. eher nicht, wenn diese später aber erworben werden, nachträglich) oder mit anderen Geräten vergleichen. Sie könnten auch selber beurteilen, ob die subjektiven Anteile überhaupt relevant für sie selber sind, so ähnlich wie in dem oben verklinkten Video ja auch zum Ausdruck gebracht wird.
    Eine Möglichkeit, die Praxistests für den Leser transparent zu machen wäre, wie weiter unten in den Kommentaren vorgeschlagen, ihre Durchführung in Videos zu dokumentieren.
    Möglich, dass die Tests im Lauf der Zeit angepasst werden müssen (die Geräte gewinnen an Performance, Features usw.). Dann werden diese Anpassungen eben durchgeführt und dokumentiert, aber die Vergleichbarkeit mit den älteren Tests geht verloren. Darauf wird hingewiesen, und das wars dann.
    Der Charme solcher Praxistests könnte in einem weiteren Schritt sogar darin bestehen, die Community aktiv in die Tests einzubeziehen, ihre Testergebnisse (auch gegen andere Geräte) zu berücksichtigen, und in den Kommentaren Vergleiche mit den AP-Tests zu ermöglichen.

    Quelle: www.techstage.de

  • Es gibt wirklich Momente in denen Kritik wirklich angebracht ist,hier Geschmackssache.
    Ich persönlich finde es gut von AP das sie uns mal etwas aufklären wie sie denn zu ihren Ergebnissen kommen,Daumen hoch!

    • Tim 06.12.2015 Link zum Kommentar

      Welche Benchmarks sie verwenden, schreiben sie doch sowieso in jeden Testbericht lang und breit.
      Deshalb ist dieser Artikel ziemlich sinnlos ^^
      Nimm' dir irgendeinen Testbericht, unter dem Punkt "Performance" steht nichts anderes als plumpe Benchmarkergebnisse

  • Beide Daumen hoch für die Entscheidung, dass ihr neue Geräte in Zukunft doch testen wollt :)

    • Tim 06.12.2015 Link zum Kommentar

      die Frage ist nur, was ein paar dämliche Benchmarkwerte mit "testen" zu tun hat... Da kann man auch in den nächsten Mediamarkt rennen, 5min mit den Geräten rumspielen und hat mehr in Erfahrung gebracht, als mit den hier zu veröffentlichten "Tests", was nun nicht gerade Sinn der Sache ist...
      Da macht sogar Computerbild bessere Smartphone-Tests ^^

  • Unverständlich das man den wichtigsten Benchmark für Gamer und die GPU nicht nutzt.

  •   42

    Die machen das doch alle bei den Benchmarks wie VW! :-D

  • Ich bin nur hier um mir die unnötigen Kommentare der Hater durchzulesen.

  • Tim 06.12.2015 Link zum Kommentar

    Kurzum:

    Eure "Testverfahren" zur Bestimmung der Performance sind einfach nur jämmerlich.
    Der einzige Benchmark, der evtl. im Ansatz einen Nutzen besitzt, ist der GFX-Bench, da dieser neben stumpfen Zahlen auch einen anderen Wert zeigt und das ist die thermische Entwicklung.

    Was bringen mir solche sinnfreien Benchmarkwerte, wenn die allgemeine Software nicht stimmt. Das haben Samsung und LG bis letztes Jahr eindrucksvoll gezeigt: Absolute Top-Ergebnisse in den Benchmarks aber die Alltags-Performance war schwach.

    Ich meine klar, bei einem einfachen Blog braucht man wirklich keine super-HIgh-End-Equip, wie es irgendwelche Labore besitzen, aber es gibt andere Wege herauszufinden, ob ein Gerät gut läuft...

    Zum Beispiel:
    Macht Gaming-Videos mit einer kleinen zur Schaustellung der Oberfläche, indem man einfach ein paar Menüs durchklickt, Multitasking und Co. nutzt und zeigt, ob es flüssig läuft, Am besten natürlich mit 60fps gefilmt.

    Aber hier einfach nur 5 Benchmarks aufzulisten und das allen ernstes in die "Bewertung von Smartphone-Performance" einfließen zu lassen, ist dumm.

    Und wie ich meine Geräte teste? GAR NICHT. Ich kaufe sehe mir ordentliche Reviews an und lese mehrere Tests bevor ich dazu eine Entscheidung fälle. So ein Schrott mit Benchmarks tue ich keinem Gerät an, weil es absolut sinnlos ist. Wenn ich mein Smartphone benutze, sehe ich, ob es flüssig läuft oder nicht, dafür braucht es keine Benchmarks, die meistens nicht einmal im Ansatz widerspiegeln, wie die alltägliche Performance ist.

  • Vor 1-2 Jahren etwa habe ich mal AnTuTu auf dem LG G2 gehabt. Reines Interesse an der App. Zwei mal laufen lassen. Danach wieder deinstalliert. Seit dem keine Benchmark-Apps mehr benutzt. Finde ich ziemlich langweilig und die Ergebnisse stehen eh in jedem Testbericht.

Zeige alle Kommentare

Diese Website verwendet Cookies, um Ihnen ein besseres Nutzungserlebnis bieten zu können. Mehr dazu

Alles klar!