SurfaceView - Klick und Display anpassung

Hey ho,
ich hab da ein Problem...
Also ich hab ein paar 2D Elemente in ein SurfaceView gepackt.
Nun weiss ich ja wo sie liegen und kann per OnTouch die X und Y Koordinaten auslesen.

Nun das Problem:
Wenn ich dies für alle Displays anpassen will, also das es auf allen Displaygrößen gleich aussieht macht man das doch mit
holder.setFixedSize(480, 320);
oder?
Nur das Problem X und Y bleiben gleich aber die Hälfte der Grafiken wird nicht mehr angeziegt :/