Вы можете получить точку, используя ту же матрицу преобразования, которая применяется к изображению. Вы хотите преобразовать точку между системой координат экрана в систему координат изображения, обращая эффект исходной матрицы.
В частности, вы хотите преобразовать координаты x, y, где пользователь щелкнул экран, в соответствующую точку исходного изображения, используя обратную матрицы, которая использовалась для преобразования изображения в экран.
Немного псевдокода, предполагая, что matrix содержит преобразование, которое было применено к изображению:
// pretend user clicked the screen at {20.0, 15.0}
float x = 20.0;
float y = 15.0;
float[] pts[2];
pts[0] = x;
pts[1] = y;
// get the inverse of the transformation matrix
// (a matrix that transforms back from destination to source)
Matrix inverse = new Matrix();
if(matrix.invert(inverse)) {
// apply the inverse transformation to the points
inverse.mapPoints(pts);
// now pts[0] is x relative to image left
// pts[1] is y relative to image top
}