Warum Cyrket down ist

  • Antworten:31
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

30.10.2009, 18:07:08 via Website

Hallo zusammen,

als ich heute die Market-API-Anbindung aktualisiert habe (s. auch hier), ist mir aufgefallen, dass ich ständig HTTP Fehler 503 geliefert bekomme.

Nachdem ich das den ganzen Tag beobachtet habe, kann ich folgendes sagen:

Google erlaubt nur noch eine maximale Nettozugriffszeit auf die Market-API von 5 Minuten je voller Stunde. Das ist für den normalen User vollkommen ausreichend. Für Cyrket bedeutet dies allerdings, dass auch Cyrket nur noch 5 Minuten je voller Stunde funktioniert.

Da wir die Daten in unserer Datenbank speichern, sind wir von der Limitierung nicht betroffen (außer dass sich das aktuelle Update der minSdkVersions über einen etwas längeren Zeitraum hinzieht...).

Viele Grüße
Sven

— geändert am 30.10.2009, 18:09:49

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

30.10.2009, 18:12:47 via Website

Ach Du grüne Neune... Das erklärt alles!

Danke für die Erklärung.

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

31.10.2009, 12:18:02 via Website

ok gut zu wissen

der wird jetzt wohl daran arbeiten, alles abzuändern.

swordiApps Blog - Website

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

01.11.2009, 22:37:31 via Website

wird wohl sehr schwierig, weil es so viele Daten sind! Und Google riegelt jetzt wohl sehr schnell ab...

Antworten
Gelöschter Account
  • Forum-Beiträge: 5.136

02.11.2009, 06:54:03 via Website

Entweder hat Google wirklich Performance Probleme am Market oder aber die wollen damit eben sowas unterbinden. Performance Probleme kann ich mir ehrlich gesagt nicht so recht vorstellen. Nicht bei Google ...

lg
Voss

lg Voss

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

02.11.2009, 07:29:41 via Website

Ich bin mir ganz sicher, dass sie unterbinden wollen. Wenn es viele geben würde, die in diesem Umfang auf den Market zugreifen, wird es nur dann keine Performanceprobleme geben, wenn man viele Server aufstellt. Ich kann mir vorstellen, dass Google auch kein Bock hat viel Geld für Andere auszugeben.

Die Konsequenz ist, dass AndroidPIT nun neben Androidlib die einzige Alternative ist, wo es den gesamten Market gibt. Und es wird auch sehr schwer (bis hin zu unmöglich) noch einmal den gesamten Market auszulesen. Denn es würde einfach viel zu lange dauern dies zu tun.

Antworten
Gelöschter Account
  • Forum-Beiträge: 5.136

02.11.2009, 07:41:03 via Website

Eben Fabien, das ist auch meine Meinung. Der frühe Vogel fängt den Wurm.

Andererseits wird es aber auch schwierig werden, deaktivierte oder vom Market genommene Apps herauszufiltern.

Mir ist zumindest noch keine vernünftige Idee gekommen um das zu erreichen. Um einen korrekten Stand zu erreichen müsste man wohl ein über viele Abschnitte verteilten Abgleich laufen lassen, man hat ja nur 5 min/Std. Und soviel geht da wohl auch nicht in 5 Min. bei der Masse.

Letztlich wird man da immer hinterherhecheln ...

lg
Jörg

lg Voss

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

02.11.2009, 08:00:13 via Website

Naja, es wird wohl um einen guten Algorithmus gehen. Ich vertraue da mal auf Sven, der immer richtig geile Ideen hat. Ich bin mal sehr gespannt...

Antworten
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

02.11.2009, 08:33:40 via Website

Jörg Voss
Andererseits wird es aber auch schwierig werden, deaktivierte oder vom Market genommene Apps herauszufiltern.

Mir ist zumindest noch keine vernünftige Idee gekommen um das zu erreichen. Um einen korrekten Stand zu erreichen müsste man wohl ein über viele Abschnitte verteilten Abgleich laufen lassen, man hat ja nur 5 min/Std. Und soviel geht da wohl auch nicht in 5 Min. bei der Masse.

Deaktivierte / vom Market genommene Apps werden ab morgen als solche gekennzeichnet sein :)

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Sebastian Preisner
  • Forum-Beiträge: 533

02.11.2009, 09:51:49 via Website

Sven Woltmann

Deaktivierte / vom Market genommene Apps werden ab morgen als solche gekennzeichnet sein :)

Von Google gekennzeichnet? Dann darf ich hier auch mal Herzlichst Gratulieren, eine von zwei Seiten die den gesammten Market zum durchsuchen anbieten ist schon ein gutes Stück ;)

LG Sebastian

Antworten
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

02.11.2009, 10:41:29 via Website

Sebastian Preisner
Von Google gekennzeichnet?

Nein, bei uns meine ich.

Wenn ich zu einer App an zwei aufeinanderfolgenden Tagen keine Infos mehr bekomme, markiere ich sie ab sofort als "vom Market genommen". Und dann spar ich mir Zugriffszeit, in dem ich nicht weiter versuche, diese App zu aktualisieren. Es sei denn, es kommt eine neue Version zu dieser App raus, dann lösche ich das "vom Market genommen"-Flag wieder.

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Gelöschter Account
  • Admin
  • Forum-Beiträge: 3.718

02.11.2009, 11:29:01 via Website

Sven Woltmann
Sebastian Preisner
Von Google gekennzeichnet?

Nein, bei uns meine ich.

Wenn ich zu einer App an zwei aufeinanderfolgenden Tagen keine Infos mehr bekomme, markiere ich sie ab sofort als "vom Market genommen". Und dann spar ich mir Zugriffszeit, in dem ich nicht weiter versuche, diese App zu aktualisieren. Es sei denn, es kommt eine neue Version zu dieser App raus, dann lösche ich das "vom Market genommen"-Flag wieder.

Also wenn das so leicht geht - wäre das die ideale Lösung.
und wir hätten weniger Probleme mit nicht gefundenen Apps im Forum.

Fazit: 100 Punkte von 100 möglichen :grin:

Gruß Manfred

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

02.11.2009, 12:14:56 via Website

sehr kuhl, dass es hier sowas gibt

wäre es möglich, neben den market sternen auch noch die wirkliche anzahl mit 2 kommastellen anzuzeigen?

das feature war bei cyrket wirklich super.

zb 4 sterne ( 4,05 ) oder sowas, dann wäre es perfekt

btw: wie oft werden hier die apps aktualisiert? wenn ich zb heute den text bei einer meiner apps ändern würde, wann würde androidpit davon wissen?

aber wie immer hier - super arbeit. da können sich viele was abschneiden

swordiApps Blog - Website

Antworten
Sebastian Preisner
  • Forum-Beiträge: 533

02.11.2009, 12:33:37 via Website

Also wenn das so klappt sven ist das echt super, da fällt mir auf, es gibt hier gar keine Karma funktion mehr im Forum...

Antworten
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

02.11.2009, 13:11:25 via Website

Markus Gursch
wäre es möglich, neben den market sternen auch noch die wirkliche anzahl mit 2 kommastellen anzuzeigen?

das feature war bei cyrket wirklich super.

zb 4 sterne ( 4,05 ) oder sowas, dann wäre es perfekt

Kein Problem, kommt auf die kurzfristige ToDo-Liste.

Markus Gursch
btw: wie oft werden hier die apps aktualisiert? wenn ich zb heute den text bei einer meiner apps ändern würde, wann würde androidpit davon wissen?

Je nachdem wie häufig Deine App bei uns aufgerufen wird:
zwischen 10 Minuten (wenn sie sehr oft aufgerufen wird) und 30 Tage (wenn sie gar nicht aufgerufen wird).

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

02.11.2009, 13:33:30 via Website

danke für die info ;)

swordiApps Blog - Website

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

02.11.2009, 13:52:56 via Website

Sebastian Preisner
Also wenn das so klappt sven ist das echt super, da fällt mir auf, es gibt hier gar keine Karma funktion mehr im Forum...

Was genau ist eine Karma-Funktion??

Antworten
Gelöschter Account
  • Admin
  • Forum-Beiträge: 3.718

02.11.2009, 13:57:04 via Website

Fabien Röhlinger
Sebastian Preisner
Also wenn das so klappt sven ist das echt super, da fällt mir auf, es gibt hier gar keine Karma funktion mehr im Forum...

Was genau ist eine Karma-Funktion??

Das ist die Funktion, die wir früher mal hatten um einen Artikel positiv oder negativ zu berwerten (Daumen hoch od. Daumen runter)

lg Manfred

Es gäbe noch mehr solche Karma Funktionen

— geändert am 02.11.2009, 13:59:55

Antworten
Sebastian Preisner
  • Forum-Beiträge: 533

02.11.2009, 13:59:46 via Website

Manfred Z.
...
Das ist die Funktion, die wir früher mal hatten um einen Artikel positiv oder negativ zu berwerten (Daumen hoch od. Daumen runter)

lg Manfred

Danke Manfred ;), genau das habe ich gemeint. Sowas nennt man Karma, man kann dann sehen ob ein User viele Positive oder negative "punkte" gesammelt hat und somit auch ein wenig aussage über seinen Status im Forum und seine Kompetenz machen.

LG Sebastian

Antworten
Gelöschter Account
  • Forum-Beiträge: 5.136

02.11.2009, 14:08:54 via Website

Die App PrinterShare hat z.B. lt. Androipit usern ein schlechtes Karma :)

lg
Jörg

lg Voss

Antworten
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

02.11.2009, 19:47:46 via Website

Markus Gursch
wäre es möglich, neben den market sternen auch noch die wirkliche anzahl mit 2 kommastellen anzuzeigen?

das feature war bei cyrket wirklich super.

zb 4 sterne ( 4,05 ) oder sowas, dann wäre es perfekt

Ist eingebaut.

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Sven Woltmann
  • Admin
  • Staff
  • Forum-Beiträge: 1.922

02.11.2009, 19:48:36 via Website

Jörg Voss
Andererseits wird es aber auch schwierig werden, deaktivierte oder vom Market genommene Apps herauszufiltern.

Mir ist zumindest noch keine vernünftige Idee gekommen um das zu erreichen. Um einen korrekten Stand zu erreichen müsste man wohl ein über viele Abschnitte verteilten Abgleich laufen lassen, man hat ja nur 5 min/Std. Und soviel geht da wohl auch nicht in 5 Min. bei der Masse.

Deaktivierte / vom Market genommene Apps sind nun als solche gekennzeichnet.
Beispiel: Innerscope

Svens Java-Entwickler-Blog: https://www.happycoders.eu

Antworten
Gelöschter Account
  • Forum-Beiträge: 5.136

03.11.2009, 07:48:15 via Website

Der Mann ist einfach besser als gut !!! Klasse gemacht und superschnell umgesetzt :):)

lg
Jörg

lg Voss

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

03.11.2009, 08:52:35 via Website

Sven Woltmann
Markus Gursch
wäre es möglich, neben den market sternen auch noch die wirkliche anzahl mit 2 kommastellen anzuzeigen?

das feature war bei cyrket wirklich super.

zb 4 sterne ( 4,05 ) oder sowas, dann wäre es perfekt

Ist eingebaut.

danke - perfekt gemacht. jetzt kann cyrket wirklich down bleiben

swordiApps Blog - Website

Antworten
Fabien Röhlinger
  • Admin
  • Staff
  • Forum-Beiträge: 3.855

09.11.2009, 09:26:02 via Website

Also ich finde die PrinterShare App ganz gut :) Sie hat bei mir ein ganz gutes Karma! :grin:

Antworten
Marius O.
  • Forum-Beiträge: 1.588

17.11.2009, 15:11:59 via Website

eine offizielle API gibt es glaube ich nicht (das hat sven doch mal gesagt?)

diese zugriffsbeschränkung gibt es erst seit einigen wochen....wir hatten sie davor schon in einer DB gespeichert...nun müssen wir "nurnoch" akutalisieren....

obert

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

17.11.2009, 15:18:56 via Website

nöp api gibt es nicht.

man macht es einfach über requests, wie es auch die market app macht

swordiApps Blog - Website

Antworten
Stefan Adolf
  • Forum-Beiträge: 5

01.12.2009, 12:21:33 via Website

@Markus Gursch: kannst Du das mal bitte etwas konkretisieren? Ich krieg von http://android.clients.google.com/vending/api/ApiRequest nur Kauderwelsch zurück. Ist das gezippt? Oder verschlüsselt? Oder beides ? Hab versucht, mit der zu DEX-Files dekompilierten Vending-App dahinerzukommen, wie die Jungs zwischen Client und Market kommunizieren, aber bin bei den kryptischen request- und response strings stecken geblieben (das ist kein base64).

Beispiele
[quote] Request (all apps)
POST /market/api/ApiRequest HTTP/1.1
Content-Length: 768
Content-Type: application/x-www-form-urlencoded
Host: android.clients.google.com
Connection: Keep-Alive
User-Agent: Android-Market/2 (generic PLATFORM-1_0); gzip

version=2&request=CrMCCuABRFFBQUFKRUFBQURPWVlNWG9CR2l1VGtvUldUN2d5WlJVNkdIR05SR01nMzV4Y3M1NmtMTnpES
W5iUmZPX2plNmV2TWpnRkc3enZqTmFlSVZaY2tLTmZLQkU1Y3VBcWUza2h4blZYejY3cHMwYlBrYUhNWlZnZEJsTU9jX1F3ZnJfb
FhleUlPZm1sVnVheklnQjFNRFF5YVgwaWgwVEREazU5RkJ6enJsTmR1OVhuMy1PTi1zckxhMF9YeE1XNXlfR05oVFJuSzBXNVpRajF
CeXlNQjJ1QnMxbXk1Q2FpNUYQABjpByIPYjU1MTRjN2M1ZGE0NmQyKglnZW5lcmljOjIyAmVuOgJVU0IHQW5kcm9pZEoHQW5kcm9p
ZFIGMzEwMjYwWgYzMTAyNjBiA2FtLRNaFQoTODc0NzM2NjI1Mzc2MjMwMjMxMBQTWhUKEzkyMjIwMDU5NTQ1NzU1MzI0MTQUE1oVChM
1Mjk4MTI0OTc2OTUwOTU3NDY3FBNaFQoTNjQ0MTYzNTAzODQ3MzM4OTg0NBQTWhUKEzQ1OTY5MjgyNjk4NDU2NDQzMDcUE1oVCh
MxNzA0MzI1MDg1MDkwMDQxOTk1FBNaFgoULTM1ODYyNjQwMjQ4NTcyMDQ2NDcUE1oVChM3Mzk2MTMzMjMwMDY4MjU3ODU
2FBNaFQoTNjU3NjQ1OTQxODcyODQ3MjkyMhQTWhYKFC04Mzc1ODM2MDQ1MTUwMTAwMTUyFA


RESPONSE (all apps)
HTTP/1.1 200 OK
Content-Type: application/binary
Transfer-Encoding: chunked
Date: Thu, 10 Sep 2009 18:13:13 GMT
Expires: Thu, 10 Sep 2009 18:13:13 GMT
Cache-Control: private, max-age=0
X-Content-Type-Options: nosniff
Server: GFE/2.0

7808
spe_.xc'7Im6:;mofW3UoWs^Wgm4\X0 #)(Ee\~T(RIA IK{7a=+6"Agoo"{$J[Uzz(z[.Py>xJ<TdG-^Ob4tE!$^O.Wm7:6O_>\PQO(P^=1>[7I
v?6_zos8l)c03~:~^o}S c[[5:;~ ?882_uy>mI%k{^<Fa4#n72Sna0o(p$cuzG&t>A
^#jB7EZ
usw. usf.[/quote]


WTF ??

— geändert am 01.12.2009, 12:21:56

Antworten
Markus Gu
  • Forum-Beiträge: 2.644

01.12.2009, 13:02:10 via Website

nö leider konkretisieren kann ich das nicht, da ich selbst damit gar nichts gemacht habe.

denke aber mal es wird nicht viel mehr als ein http request, wie man es kennt. aber wie gesagt, ich habe keine ahnung - leider. frag mal sven, der is chefprogrammierer hier

swordiApps Blog - Website

Antworten
Gelöschter Account
  • Forum-Beiträge: 5.136

01.12.2009, 16:21:57 via Website

@Stefan
Ist doch nicht so schwierig was da zu lesen ist.

Im Response Header stehts eh drinnen : "Content-Type: application/binary"

Da wird Dir resp. dem Market Browser ein Binary Content gesendet, der natürlich in einer Ascii Anzeige nicht viel Sinn ergibt.

Die "7808" oben drüber ist die Länge des Data containers fürs chunked transfer encoding

P.S. Der im Repsones Data Container hier als sinnloser Ascii Text sichtbare Content ist nix anderes wie der Inhalt des .apk Files.
Im wesentlichen erstmal ein Zip File. (Also auch noch kompressed)

— geändert am 01.12.2009, 16:26:40

lg Voss

Antworten
Stefan Adolf
  • Forum-Beiträge: 5

02.12.2009, 13:27:26 via Website

Also die Ausgaben hier sind Wireshark-Protokolle meines Emulators, der die Vending App von Google laufen lässt. Mich würde alleine schonmal interessieren, wie der Request-Part kodiert ist (request=...) -> das ist kein Base64, das ist kein ZIP, das ist nicht binär, das ist Buchstabensalat (der garantiert in irgendeiner Form auch einen Hinweis auf meine Identität und einen Timestamp enthält). Ich weiß also nicht einmal, wie oder welche Parameter ein Android Phone an den Market schickt, um dort eine Liste oder eine Beschreibung einer App als Response anzufordern.

@Jörg: Das ist kein APK. Das ist doch der Response des Markets auf die Anfrage "Hey, schick mich alle tollen neuen Apps". Was ich mir vorstellen kann, ist, dass das binär gepackte Klassen sind, die man mit per Java wieder deserialisieren kann. Ich hab im DEX-Code der Vending App aber noch keinen Hinweis darauf gefunden, wie sie das ganze wieder entpackt. Als application/binary kann man eigentlich alles verpacken, was man zippt oder vom Client weiterbearbeitet wissen will (ich glaub, man kann sogar Bilder so kjennzeichnen, wenn man ihren Typ nicht kennt).

Antworten