Bewertungssystem bei AndroidPIT

  • Antworten:35
  • OffenNicht stickyNicht beantwortet

14.05.2010 15:22:18 via Website

Nachdem es immer wieder Fragen gibt, wie ein AndroidPIT Bewertungen bei den Tests vornimmt, möchte ich euch kurz unser Bewertungssystem vorstellen.

Für Verwirrung sorgt vor allem warum eine kostenlose App nur vier und nicht fünf Sterne bekommt. Mir ist klar, dass das nicht immer einleuchtend wirkt. Es geht aber vor allem darum, dass wir über die Sterne bewerten wollen ob etwas sehr gut - beziehungsweise normal - oder gar herausragend ist.

Hier mal für Euch wie wir genau bewerten:

1 Stern
„Unterirdisch“: Das Kriterium genügt keinen Ansprüchen!

Beispiele:
  • Funktion: z. B. wesentliche Funktionen, die man bei einem Programm erwarten kann, sind nicht vorhanden: bei einem Fußballmanager gibt es keine Tabelle
  • Nutzen: Programme oder Gimmicks, die gar keinen Nutzen haben: z. B. ein Programm, das einfach einen roten Kreis anzeigt (gab es mal beim iPhone)
  • Bildschirm: völlig unübersichtliches Desgin: z. B. habe ich Informationen, die auf eine Seite passen würden auf drei Screens verteilt und muss ständig hin und her springen
  • Bedienung: sehr schlechte Menüführung, die es dem Nutzer quasi unmöglich macht selbst einfache Programme ohne Benutzerhandbuch zu verwenden
  • Speed: das Programm braucht sehr lange beim Laden (z. B. mehr als 10 Sekunden); ein Spiel lässt sich kaum spielen, weil es sehr stark ruckelt
  • Preis: wenn ein Programm offensichtlich überteuert ist. Beispiel: eine simple WePerapplikation für 9,99 Euro
  • Kosten: wenn es hohe Folgekosten gibt. Zum Beispiel beim Download von Straßenkarten pro Stadt in einem Reiseführer für bspw. 9,99 Euro das Stück

2 Sterne
Gerade noch zu ertragen!

Beispiele:
  • Funktion: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!
  • Nutzen: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!
  • Bildschirm: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!
  • Bedienung: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!
  • Speed: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!
  • Preis: wie bei einem Stern, nur ein bischen besser. Hier entscheidet das Gefühl!
  • Kosten: wie bei einem Stern, nur ein bisschen besser. Hier entscheidet das Gefühl!

3 Sterne
Ist gut, aber mit leichten Einschränkungen!

Beispiele:
  • Funktion: alles so wie man es erwartet, aber es gibt das Eine oder Andere was man vermisst. Zum Beispiel ein Fußballmanager, bei dem man ein Profil zu jedem Spieler einsehen kann
  • Nutzen: so wie bei Funktion! Man vermisst nur Kleinigkeiten
  • Bildschirm: ein aufgeräumter, guter Bildschirm mit nettem Design. Es gibt keine größeren Probleme. Aber auch keinen „Wow‐Effekt“
  • Bedienung: man findet sich an sich mit Einschränkungen zurecht, muss aber gelegentlich nach Funktionen suchen
  • Speed: Ladegeschwindigkeit im gefühlten normalen Bereich!
  • Preis: hat ein Programm ein angemessenes Preis‐Leistungsverhältnis, z. B. ein Tool für Einkaufslisten für 0,49 Cent oder aber ein nützliches, umfangreicheres Tool für 2,99 Euro
  • Kosten: Achtung: Folgekosten haben natürlich einen direkt Einfluss auf die Bewertung der Kategorie „Preis“. Ist das Tool kostenlos und gibt es hohe Folgekosten, wirkt sich das auf die Bewertung aus!

4 Sterne
Tadellos

Beispiele:
  • Funktion: es sind alle Funktionen da, die man erwartet!
  • Nutzen: man sagt sich: „Genau das was ich gesucht habe!“
  • Bildschirm: der Bildschirm ist aufgeräumt und es gibt ein tolles Design ‐ überdurchschnittlich!
  • Bedienung: alles funktioniert intuitiv, man findet sich bei allem sofort zurecht
  • Speed: das Programm läuft sehr schnell und läuft absolut flüssig und ohne Einschränkungen
  • Preis: man denkt sich: „da habe ich einen wirklich guten Deal gemacht!“
  • Kosten: so wie bei Preis

5 Sterne
Herausragend

Beispiele:
Anmerkung: 5 Sterne sind die echte Ausnahme! Es ist wie die Sternschnuppe, die man am Sommerhimmel sucht. Wenn man 5 Sterne vergeben hat, sollte man gleich zum nächsten Telefonhörer greifen und seine Nachbarn von diesem Tool informieren, weil sie einen dann (noch mehr) lieben werden.

  • Funktion: „Diese Funktionen hauen mich um!“ Sehr gutes Beispiel: Shazam! Kein langes suchen eines Musiktitels, sondern das Programm macht alles automatisch
  • Nutzen: auch hier ist Shazam ein gutes Beispiel! Für Menschen, die wissen wollen was da gerade im Radio läuft, ist das Programm überaus nützlich mit einem WOW‐Effekt. Der Nutzen des Programms muss seinen Usern überdurchschnittliche Mehrwerte bringen. Ein Programm mit einer Einkaufsliste kann demnach keine 5 Sterne bekommen, so nützlich sie auch ist. Außer das Programm scannt den ganzen Kühlschrank automatisch und erstellt darauf basierend ohne Zutun eine Liste für den Einkauf.
  • Bildschirm: außergewöhnliches, einprägsames und vor allem aufgeräumtes Design! Quasi von Colani höchstpersönlich entworfen...
  • Bedienung: Shazam ist hier auch ein sehr gutes Beispiel: man braucht nur einen Drücker auf einen Button ‐ und alles Andere geschieht automatisch. Hier ist weniger mehr...
  • Speed: übertrieben gesagt: „ein Wimpernzucken später ‐ und schon ist das Programm geladen und läuft schneller als Michael Schuhmacher (noch immer) Auto fahren kann!
  • Preis: Shazam ist kostenlos und bringt einem einen gewaltigen Nutzen! 5 Sterne kann aber natürlich auch ein Programm bekommen, das etwas kostet. Das Preis‐ Leistungsverhältnis zählt hier! Was aber nicht bedeutet, dass jedes kostenlose Produkt automatisch 5 Sterne bekommt! Es gilt immer gut abzuwägen ob ein kostenloses Produkt mit wenig Nutzen nicht vielleicht doch mit 3 Sternen gut bewertet ist...
  • Kosten: so wie bei Preis

Ich hoffe, Euch wird klar, was wir damit ausdrücken wollten...

— geändert am 15.05.2010 15:25:07

Gelöschter Account

14.05.2010 15:37:18 via Website

Jawoll, danke dafür. Ich muss mal die Kamera klar machen, dann schreib ich (endlich) mal meinen Probetest... Das gerät immer wieder nach hinten. :(
  1. Fertigungsprodukt. - „Behandle die Menschen so, als wären sie, was sie sein sollten, und du hilfst ihnen zu werden, was sie sein können.“ - Leitfaden

Gelöschter Account

14.05.2010 15:37:32 via Website

HI,

vielleicht wäre es auch nocht gut diesen Thread bei den Tests irgendwo zu verlinken! "Wie kommt diese Bewertung zustande? --> Bewertungskriterien" Oder so!

Spielregeln --> hier <-- | --> hier <-- Häufige Fragen

14.05.2010 15:39:25 via Website

Sebastian P.
HI,

vielleicht wäre es auch nocht gut diesen Thread bei den Tests irgendwo zu verlinken! "Wie kommt diese Bewertung zustande? --> Bewertungskriterien" Oder so!

Das könnte man auch im FAQ verlinken.

Der Thread macht übrigens die Testberichte transparenter.

Liebe Grüße, Max.

14.05.2010 15:42:41 via Website

Sebastian P.
HI,

vielleicht wäre es auch nocht gut diesen Thread bei den Tests irgendwo zu verlinken! "Wie kommt diese Bewertung zustande? --> Bewertungskriterien" Oder so!

exakt was ich ebenfalls gerade vorschlagen wollte!!! unbedingt auf der Home-Seite verlinken!! bzw. vllt eine eigene konstante Seite erstellen wo dieser Text (leicht korrigiert... (die komischen Sonderzeichen sollten vllt. entfernt werden )) steht.

14.05.2010 16:23:27 via Website

Evelyn C.
danke Fabi!

Und wo wir schon dabei sind:
ginge es denn, irgendeine Selektion auf die Test-Seite einzubauen, wo man sich auch gezielt z.B. 5-Sterne-Tests anzeigen lassen kann?

Steht doch schon auf der ToDo-Liste:

Webseite / Testberichte:
Testberichte nach Datum, Bewertung o. ä. sortieren.

Oder meinst Du was anderes?

Android Forum ... AndroidPIT-Regeln

14.05.2010 20:49:04 via Website

Danke vielmals für diesen wirklich sehr sinnvollen Beitrag Fabien! Somit sollten zahlreiche Fragen und Unklarheiten beseitigt worden sein und die Testberichte und vorallem deren Beurteilung erscheint nun für alle User um ein großes Stück durchsichtiger bzw. durchschaubarer... ;)

Gruß KeSch

15.05.2010 11:39:19 via Website

Danke für diese Ausführung!

Dennoch verstehe ich nicht warum ein eher nutzloses oder selten gebrauchtes Tool nicht auch 5 Sterne beim Preis bekommen kann wenn es kostenlos ist, keine Folgekosten hat und auch nicht mit Werbung bestückt ist?

Kostenlos bleibt kostenlos. Und das ist gut. Ob man das Tool nun braucht oder nicht ist da eher zweitrangig.

Bei Bezahl-Apps denke ich aber schon, dass man den Preis ins Verhältnis zum Nutzen / der Leistung ziehen sollte.

Aber bei kostenlosen Apps? Da ist es doch eh egal...

15.05.2010 12:28:30 via Website

Nein, ist nicht wirklich egal! Es könnte zum Beispiel sein, dass die App nur dafür gedacht ist eine große Nutzergruppe aufzubauen und deswegen kostenlos ist.

Bzw. dass es andere Apps gibt, die das Selbe tun, ebenfalls kostenlos sind, aber viel aufwendiger gemacht sind. Wäre es da nicht unfair, wenn beide Apps 5 Sterne bekämen? Ich denke schon!

15.05.2010 15:51:26 via Website

Ich habe ein paar Vorschläge:


1. zum einen muss deutlich ersichtlich sein dass der "5te-Stern" ein herrausragend ist, sprich man muss es erkennen wenn er grau ist (strahlender stern) und wenn er gelb ist (goldener strahlender stern)

noch mal langsam: die ersten 4 Sterne sind grau/gelb (je nach Bewertung) und er 5te Stern soll ein eigener Stern sein, der sofort klar macht das der 5te Stern ein herrausragend ist. (z.B. ein strahlender goldener (/grauer) Stern.

2. ist die idee mit "mous-over" ist einfach spitze (QR), das würde ich auch bei den sternen manchen, damit sofort (ohne einen Link auzuwählen) jeder genau weiß das der 5-te Stern ein herausragend ist (Anzeige der Bewertungsstufen und kurze erklärung - wie oben beschrieben - bei Mouse-over)

3. MUSS der Name Preis (im Berwertungssystem) in Preis/Leistung umbenannt werden. weil sonst müsste ein kostenloses app immer 4/5 sterne haben!

15.05.2010 16:09:33 via Website

Fabien Röhlinger
Nein, ist nicht wirklich egal! Es könnte zum Beispiel sein, dass die App nur dafür gedacht ist eine große Nutzergruppe aufzubauen und deswegen kostenlos ist.

Bzw. dass es andere Apps gibt, die das Selbe tun, ebenfalls kostenlos sind, aber viel aufwendiger gemacht sind. Wäre es da nicht unfair, wenn beide Apps 5 Sterne bekämen? Ich denke schon!

Da sind wir wohl verschiedener Meinung. Klar gibt es oftmal Apps, die das gleiche tun wie die getestete, aber macht es den Preis (in diesemfalle ja das Nichtvorhandensein) schlechter??

Ich denke nicht...

Solange es nicht in Preis / Leistung umbenannt wird und nur der nackte Preis bewertet wird, haben andere Faktoren bei kostenlosen apps einfach nichts zu suchen. Selbst wenn die App einem nichts bringt, außer vielleicht Spaß an der Freud, seis drum, sie ist doch KOSTENLOS!!!

Gelöschter Account

15.05.2010 16:13:30 via Website

Yannick B.
Da sind wir wohl verschiedener Meinung. Klar gibt es oftmal Apps, die das gleiche tun wie die getestete, aber macht es den Preis (in diesemfalle ja das Nichtvorhandensein) schlechter??

Ich denke nicht...

Solange es nicht in Preis / Leistung umbenannt wird und nur der nackte Preis bewertet wird, haben andere Faktoren bei kostenlosen apps einfach nichts zu suchen. Selbst wenn die App einem nichts bringt, außer vielleicht Spaß an der Freud, seis drum, sie ist doch KOSTENLOS!!!

Das muss ich so unterstützen...