Tastatur Standard/Auswahl überspringen

Hallo,
ich habe mir vor einigen Wochen die Logitech K480 für mein Nexus 7 geholt und bin begeistert von der Tastatur. Man kann diese mit 3 Geräten koppeln und ganz bequem zwischen den Geräten per Rad umschalten.
Was mich etwas stört ist allerdings die Auswahl für die Tastatur (s. Screenshot).
Diese taucht jedes mal auf wenn sich die Tastatur mit dem Tablet verbindet, was ziemlich nervig ist wenn man kurz für Nachrichten die Geräte wechselt.

Gibt es eine Möglichkeit das Android sich diese Auswahl behält? Also Bluetooth Tastatur Logitech als Standard und wenn nichts verbinden ist dann SwiftKey.

Habe schon gegoogelt aber da kommen meistens nur Fragen zum Layout etc.
Hoffe ihr könnt mir helfen

Ou, ich habe vergessen zu erwähnen, dass ich das Tablet manchmal auch ohne die Logitech Tastatur nutze (dafür ist dann SwiftKey da).
Also immer deaktivieren wenn ich es mal schnell in die Hand nehme wäre ziemlich umständlich.