Kritik zu den App Tests

also vorallem die einleitung und deinen ersten kritikpunkt wuerde ich so unterschreiben, die anderen punkte finde ich jetzt nicht so schlimm, aber wie du schon gesagt hast, es ist icq und nicht mehr, also muss es auch nicht mehr koennen.

mfg
rick

Hey Tobi,

zu aller Erst wird deine Meinung auch gelesen, wenn du weniger dick schreibst... Das ist nicht gerade dem Lesefluss förderlich und wirkt all zu sehr aggressiv.

[quote=Tobias][b]Hi AndroidPit Team.
Und zwar muss ich nun leider mal eure Tests kritisieren. Ihr solltet das ganze Konzept mal überarbeiten. Was am aller wichtigsten ist, ihr solltet bei einem Test wirklich neutral sein, und jede subjektive Meinung ausschließen. Auch solltet ihr die getestete App nicht mit anderen vergleichen, sondern wirklich die App selbst testen.[/quote]

Wie kommst du darauf, dass wir nicht neutral sind? Es wird immer Subjektivität in der Bewertung geben, aber ich kenne keinen Test, der absonderlich abwegig war, weil das Programm gut ankam oder Freunde hatten.
Wer verlangt, dass man Subjektivität aus dem Test vollkommen entfernt, der hat relativ wenig Ahnung von der Materie. Denn Tests basieren auf objektiver Subjektivität und können nur durch mehrere Tester objektiver gemacht werden.




Nach deiner Meinung müsste eine "Piep"-App volle 5 Punkte kriegen, wenn es nur einen Piep erzeugt?

Eine App wird immer an den Mitkonkurrenten gemessen und diese sind eben Trillian, Nimbuzz und eBuddy. Denn die web.de App kann ja auch Konten anderer Mailanbieter verwalten.
Warum implementiert ICQ nicht andere Standards? Nur weil ICQ drauf steht, muss nicht nur ICQ drin sein.

Ich hoffe du verstehst meinen Einwand und kannst das nachvollziehen.


Weiterhin bedeuten 5 Punkte ein außergewöhnliches Ergebnis. 4 Punkte sind sehr gut und mehr ist ICQ bei bestem Willen eben nicht. Es ist alles sehr gut und gut und daraus resultieren eben 4 Sterne.

5 Sterne würden bedeuten, dass ICQ etwas außergewöhnliches bietet, was andere Spiele nicht anbieten.


Siehe oben. Sehr gute Leistung, aber keine außergewöhnliche Leistung


Diese Rubrik müsste eher Preis/Leistung heißen, dann sind 3 Sterne mehr als gerechtfertigt. Und mit Preis/Leistung ist auch die Relation zu anderen Apps gemeint, welche oben genannt sind.


Änderungsvorschläge sind auch nicht schlecht. Diese werden dann bei uns diskutiert und eventuell eingeführt

Ich hoffe ich konnte dir etwas helfen.

Liebe Grüße,

Nima

Das Bewertungssystem versteht zur Zeit keiner der nicht die Anleitung dazu gelesen hat.

Genau deswegen sollte innerhalb der Tests auch ein Link zum Forenbeitrag gesetzt werden, der diese Kriterien erklärt.
Sicher, es ist alles andere als ideal, wenn 99%der User mit den Kritierien überhaupt nichts anfangen können. Der Betreiber hat diese aber nun einmal festgelegt und die User haben diese zu akzeptieren. Punkt.
Sehr ärgerlich ist es, wenn die Test-Kommentare nur mehr aus Meckern bestehen, das braucht niemand.

3 Punkte.
Wenn sie zusätzlich noch gut aussieht, sich an alle Standards hält und effizient mit den Ressourcen umgeht, hat sie 5 Punkte verdient.



Doch. Sonst würde das Programm ja nicht "ICQ Mobile für Android" heißen.

Wäre es nicht sinnvoller, die Bewertungs-Kriterien so zu ändern, dass 95% der Leser sie sofort verstehen?

hi,

also ich bin nicht der meinung, dass nimbuzz und co direkte konkurrenten der icq app sind, denn die icq app wurde, wie der der name schon sagt von und fuer icq entwickelt und nicht als multimessenger, vergleichspartner waeren in diesem fall z.b. diverse msn apps wie msn talk etc.

mfg
rick

Hi Nima,

Wenn man vergleichen will, macht man einen Vergleichstest.

Ansonsten stellt sich die Frage bei jedem Test: Womit wurde denn alles verglichen? Es sind ja bei den meisten Tests keine Listen mitgeliefert, mit welchen Vergleichs-Apps man verglichen hat.

Mal angenommen, diese ICQ App macht halt nur das, was sie sagt: Nämlich ICQ. Das aber ziemlich perfekt. Demgegenüber stehen Trillian, Nimbuzz und eBuddy. Die machen ICQ und noch irgendwelchen anderen Kram. Nehmen wir mal weiter an, diese drei letztgenannten Apps sind in Sachen ICQ nicht ganz so optimal wie diese spezifische ICQ-App. Aber sie können halt auch noch den anderen Krempel.

Was ist denn dann nun besser?

Wird die ICQ App gegenüber den anderen besser bewertet, weil sie eben ICQ besser kann als die anderen drei? (Und für mehr war die App ja vom Hersteller auch gar nicht gedacht)

Oder werden die drei anderen besser bewertet, weil sie zwar ICQ nicht so optimal beherrschen, dafür aber vielseitiger sind?

Nix für ungut, Euer komplettes "Test"-Verfahren ist relativ unlogisch, wenn das stimmt was Du sagst.

Noch eine Bemerkung zum Thread-Starter: Du forderst Objektivität. Das ist aber leider nicht möglich. Eine Rezension (nach welchen Regeln auch immer), ist *immer* subjektiv. Das liegt in der Natur der Sache. Ein "objektiver Test" wäre die Quadratur des Kreises. Ganz abgesehen davon, dass ein solcher "objektiver Test" selbst bei relativ eindimensionalen Dingen unglaubliche Zeitressourcen verschwenden und im Ergebnis unleserlich lang und ausschweifend werden würde: Zur Objektivität fehlt es an zahlreichen Rahmenbedingungen. Mein Tipp: Einfach mal den Luxus einer eigenen Meinung gönnen und *selbst* über die eine oder andere App urteilen (kost ja nix. Selbst kostenpflichtige Apps können ja zurückgegeben werden). Und "Tests" wie diese hier bei AndroidPIT als das werten was sie sind: Unterhaltung (und das ist gar nicht böse gemeint, sondern betrifft *sämtliche* Tests in sämtlichen Medien).

Herzliche Grüße

Carsten

Sehe ich ganz genauso! Also nicht unbedingt die Absoluten Werte, sondern die Grundidee. Und wenn dann tatsächlich die (potentielle) Nützlichkeit mit in die Bewertung einfließt wäre das sehr praktisch.

ich muss mich mal einmischen. tests haben immer einen gewissen anteil an subjektivität. und man kann auch immer über die getesteten kriterien streiten. deswegen ist es unumgänglich sich seine eigene meinung zu bilden. sowas kann aber dadurch von den testern unterstützt werden, dass objektive fakten eingestreut werden. momentan sind die tests nicht mehr als eine erweiterte beschreibung der apps. ich finde es sollte mehr auf die fragen eingegangen werden, die jeden interessieren. hierzu ein paar beispiele zuletzt getesteter apps:
1. 90elf: wirklich interessant zu wissen wäre doch, wieviel traffic die app denn so während eines spiels verursacht. einmal bei hoher und bei niedriger qualität. hält sich das in grenzen, oder ist danach schon am anfang des monats meine geschwindigkeit gedrosselt?
2. stats: ich hatte schon mehrere solcher apps nebeneinander installiert, und es gab gerade beim traffic zum teil deutliche abweichungen untereinander. wirklich interessant wäre doch: wie genau ist denn stats eigentlich?
3. icq: in den kommentaren ließt man öfters, dass es ein akku-fresser wäre. eine aussage wie es sich darüber tatsächlich verhält wäre eine feine sache in einem test.

ich wünsch mir einfach ein bisschen mehr wirkliches testen. weil momentan ist das einfach nur ein ausrobieren der apps. das kann auch jeder selbst.

meine meinung/wunsch!

gruß
leo

Ich stimme dem TE zu, zumindest was ICQ betrifft, denn wenn ich mir diese App installiere, dann will ich auch nur ICQ haben und nicht den ganzen anderen Kram ala Facebook und weiß der Geier was es noch gibt, darum hat die App von mir auch 5 Sterne bekommen, die hat die App allemal verdient!

— geändert am 10.09.2010, 13:17:14

Entschuldige, aber das ist doch Unsinn. Wenn der Betreiber eine Community ansprechen will, was man nhier ja augenscheinlich möchte, dann muß ich den Usern entgegenkommen. Und ein "Bewertungssystem" wie momentan, das allein dem Gusto des Verfassers und dubiosen Regeln unterworfen ist (sehr gutes Beispiel ist der unsägliche Tasker-Test!), ist nicht nur sinnfrei, sondern irreführend.


Ei, das Totschlagargument um Kritik abzubügeln, mundtot zu machen.

Natürlich ist alles subjektiv....und trotzdem gibt es objektive Kriterien. Das wichtigste: Reproduzierbarkeit, Und genau die ist hier NICHT gegeben. Ich wette, machen hier 3 Leute zu 3 verschiedenen Zeitpunkten (die nun nicht Jahre auseinanderliegen...) ein und denselben Test, man kann die 3 nicht vergleichen.
Siehe etwa Locale vs Tasker. Schaut ein User schnell über den Test: Locale ist besser. Mit Abstand. Komisch nur, das weder die Bewertung im Market, noch die der User hier (!!) dies widerspiegelt. Und in den Kommentaren wird deutlich warum: Der Tester mockiert sich, GPS sei nicht unter Netzwerk. Ach. Echt? Finde ich logisch, das etwas wie GPS, das nichts mit Netzwerk zu schaffen hat, dort auch nicht auftaucht. Oder, Meinung als Bewertungs-Fakt: Zitat Tester: "Designtechnisch gesehen ist es einfach murks. Ich meine 3 Sterne heißt gut und mir kann keiner glaubhaft erzählen das die Bedienung mehr als gut ist". Aha - deswegen wird die ganze App von 5 auf 3 reduziert. Ist klar. Das man jede Funktion in nur 4 Ebenen erreicht, was bei dem immensen Umfang eine wirkliche Leistung ist - kein Kommentar.

Subjektivität trifft auf Unvermögen, der Tod jeden Tests.

meine 5 Cents


Und was dann? Wie komme ich dann zu einer einleuchtenden und nachvollziehbaren Gesamt-"Note"?
Alle Punkte geteilt durch 4? Also Gesamtnote mit Kommastelle? (8 + 2 + 3 + 2 = 15 : 4 = 3,75)?

Bewertungssysteme sind sehr subjektiv und wenig aussagekräftig. Sind wir mal ehrlich: Ein Bewertungssystem für eine App erzeugt de facto nur einen Anschein von gut oder schlecht, realen Nutzen bringt es nicht, schon allein aufgrund der Vielfalt von am Markt vorhandenen Devices und Versionen.

Wo der eine z.B. ein sehr umfangreiches Hintergrund-Menü als Non Plus Ultra empfindet, ist der andere damit überfordert - er möchte lieber 3 simple bunte Buttons mit One-Klick-Funktion direkt im Programm. Bestes Beispiel: Tasker. Super Sache, Nerd-Angelegenheit, viel Hurra-Geschrei. Aber wie würde so eine App wohl von einem Nicht-Nerd bewertet werden?

Etwas anders sähe das schon wieder aus, wenn sich ein Test aus den Beurteilungen mehrerer Leute zusammen setzen würde. Dann wäre man gezwungen, sich auf Kompromisse zu einigen, wenn die Meinungen auseinander driften. Und käme so wahrscheinlich zu einer realistischeren Bewertung:

ABER:

• Wieviele User-Meinungen wartet man hier ab, bevor man selbige zu einem Ergebnis addiert 3? 5? 15?
• Setzt man eine Deadline für die Abgabe der User-Meinungen oder wartet man... worauf?
• Was, wenn die getestete App nur wenige interessiert und der Thread wenig bis gar keine Beachtung findet? Nimmt man dann die einzigen beiden vorhandenen Meinungen und bildet daraus das golden Goal?
• Nicht jeder hat Zeit oder Lust, in einem Forum irgendeinen Kommentar zu hinterlassen. Arbeitet man dann besser mit einer Ratzfatz-Anklick-Funktion? Weil es für die Nutzer schneller und einfacher wäre und man dadurch wahrscheinlich auch mehr Leute zu einer Bewertung bewegen würde?
• Woher weiß man, daß die Nutzer, die sich an sowas beteiligen, die in Rede stehende App auch installiert haben/hatten und mitreden können? Und wie will man ausschließen, daß sich hier Leute beteiligen, die rein nach den Screenshots (bäh, alles schwarz!), der Beschreibung (zu kompliziert, versteh nur Bahnhof, und Englisch isses auch noch) und wahrscheinlich auch nach der groben Summe der Kommentare (only crap) ihre Bewertung abgeben würden?

Schwierig.


Logisch haben sich die Jungs von AP einen Kopf gemacht, als sie das jetzige Bewertungssystem auf den Weg gebracht haben. Das muß auch anerkannt werden.

Aber jetzt nur mal laut gedacht:
Gesetzt den Fall, man würde die Summierung der einzelnen Bewertungen weglassen? Gesetzt den Fall, man könnte darauf verzichten, daß die entstandenen Tests wegen ihres "Sehr gut"-Ergebnisses auf anderen Seiten verlinkt werden...

Wenn man z.B. nur noch mit einer Art Thermometer, unterteilt in 3 fließend ineinander übergehende Farben, arbeiten würde? Ohne Zahlen, dafür mit einem Zeiger? Ein (umgedrehtes) Ampelsystem:

unten rot = auweia
mitte gelb = ganz ok
oben grün = prima



Man hätte dann neben jedem der 4 Bereiche ein solches Thermometer (was die bisherige Sternchen-Einzelwertung ersetzen würde), dessen Zeiger immer irgendwo innerhalb der Farbskala enden würde, je nachdem, wo der Tester diesen Zeiger maximal sieht. Aber halt nicht mehr rechnerisch greifbar in Nummern oder Sternen... darauf kommt es mir hier an. Die bisherigen Diskussionen um die Bewertung resultierten doch immer einzig und allein aus der Anzahl der vergebenen Sterne. Will ich mich als Leser dann beschweren, daß beim Punkt "Bedienung" der Zeiger m.E. doch einen Ticken höher im grünen Bereich zu setzen sein müßte? Vielleicht einen viertel Zentimeter? Ich glaube nicht.

Diese 4 Thermometer nimmt man dann und stellt sie schlussendlich ganz nach oben an die Stelle wo bislang die Geamtwertung steht, schön nebeneinander, mit der entsprechenden Bezeichnung, wofür jedes steht, untendrunter. Fast wie bisher, aber jetzt ohne "Gesamtnote" - spart euch doch die so häufig kritisierte Gesamt-Bewertung.

Laßt jeden selbst entscheiden, welches Kriterium (welches Thermometer) für ihn persönlich am wichtigsten, bzw. aussagekräftigsten ist!

Rein technisch könnte man hier für den Tester eine Grafik (Thermometer) zur Verfügung stellen, wo das Setzen des Zeigers total variabel gehandhabt werden kann (kenn mich da nicht aus, geht sowas mit Java?). Ist der Zeiger dann gesetzt, wird die Position abgespeichert und als jpg-Grafik zurückgegeben, die dann im Testbereich eingefügt werden kann.

So, nu' könnt ihr mich hau'n, weil ich das übersehen und jenes nicht bedacht habe... aber das ist mir halt beim Durchlesen dieses Threads und der Thematik "Bewertungen" (die mich auch schon des öfteren überrascht haben), durch den Kopf gegangen. Ich geh jetzt ins Kino.

Hey zusammen,

gerade habe ich einen Thread gestartet, in dem wir Vorschläge sammeln, um das System mehr an eure Bedürfnisse anzupassen. Ich bitte euch dort eure Vorschläge zu präsentieren.

https://www.nextpit.de/de/android/forum/thread/404634/App-Testberichte-Vorschlaege-gesucht

Viele Grüße
Anton

Klasse Vorschlag, Evelyn!

*ApplausApplausApplaus!*

Kann ich mich nur anschließen. Hast dir wirklich sehr viele gute Gedanken gemacht.

Ich find es äußerst schwierig ein objektives Bewertungssystem zu erschaffen, dass die unterschiedlichsten Apps testet.
Hierfür sind meiner Meinung nach Kategorien nötig. Das würde bedeuten, dass man rein theoretisch auch Tests vergleichen kann, sodass man sich einen wirklich guten Überblick verschaffen kann.
Wie es auch im Market, bei der AndroitPit App und bei vielen anderen Market-ähnlichen Apps der Fall ist, sollten ebenfalls die Testapps in ein Raster gelegt werden, so dass die Tests zumindest erstmal übersichtlich sind.
Desweiteren könnte man bei einer Oberkategorie (in dem ICQ Beispiel) "Messenger" und zwei Unterkategorien "Multimessenger" und "normale Messnger" (whatever).

Dadurch, dass es natürlich einstellbar ist, was ich vergleichen will, kann ich auch die Apps, die in den Unterkategorien sind, mit den anderen Unterkategorien vergleichen. Das sollte aber optional sein...

Ich glaube, dass dadurch mehr Transparenz in die Tests kommt und dadurch das Problem mit der Vergleichbarkein ein Stück gemindert wird....

Das zusammen mit den Farben .. genial :-)

Gruß

@ Christoph

Was genau meinst du damit, bzw, was soll man sich darunter vorstellen? Eigene Kategorien - abweichend von denen im Markt - schaffen?

Dieser Logik nach dürfte die Stern.de App höchstens drei Sterne bekommen weil man damit den Spiegel nicht lesen kann. Im Browser kann man viele Zeitungen lesen, deswegen wird jede Zeitungsapp damit verglichen und als Mittelmaß bewertet. Das wäre nicht fair.

Natürlich sind Tests subjektiv, aber der TS hat schon ganz recht. Man sollte das testen was man vor sich hat. Vergleiche mit anderen Apps gehören vieleicht als Nebensatz dazu, aber diese in die Testwertung einfließen zu lassen wenn es sich dabei um etwas anderes handelt ist gegenüber einer App nicht fair. Man wird auch Kompaktkameras nicht mittelmäßig bewerten nur weil DSLRs viel besser sind und mehr können. Vergleiche kann man mit vergleichbarem ziehen. Aber nicht mit unterschiedlichen Produkten.

Guten Tag,

ich hätte auch einen Verbesserungsvorschlag. Nutzt die Einleitung dazu, wofür sie eigentlich da ist.Nämlich den Leser in das Thema einzuleiten. Bisher ist es oft so, dass in der Einleitung Dinge stehen, die die den Autoren betreffen, ganz so, als müsste dieser sich erstmal selbst in das Thema einführen.

In eine Einleitung gehören folgende Infos:

• Name und Genre der App in einem Satz zusammengefasst.
• Funktion der App, wenn möglich ohne Wertung und vor allem Kompakt.
• Grundsätzliche Einschätzung ob empfehlenswert oder nicht. Zunächst noch keine Begründung.
• Appetizer warum es sich lohnt alles Weitere auch zu lesen.
  (Wenn die ersten drei Punkte auf den Punkt gebracht formuliert sind und vielleicht sogar geschickt zugespitzt einen scheinbaren Widerspruch eröffnen, ergibt sich dieser Punkt von ganz alleine.)

Nicht hinein gehört

• Die Motivation des Autors.
• Begründung weshalb dieser Test so wichtig ist. (Der mündige Leser hat sein eigenes Wertesystem nachdem er Relevanz beurteilt.)
• Erläuterung zum Bewertungssystem, zu Androidpit oder zur Weltlage im Allgemeinen.
  ("Von Höcksken auf Stöcksken kommen" macht zwar Spaß und funktioniert beim Plaudern auch sehr gut, aber dazu gehören immer zwei Personen. Ein Autor der im Kämmerlein seinen eigenen Redeschwall niederschreibt, langweilt aber nur.)

Nach diesen Kriterien kann der Leser entscheiden, ob er weiter liest oder nicht. Die Einführung sollte kurz und schnell zu erfassen sein.

Das was bisher oft in den Einleitungen steht, ist eigentlich besser im Fazit aufgehoben.

LG
Larsvegas1000