Ответ Zorgbargle верный, но при загрузке изображений из папки ресурсов и при плотности устройства используется другое соображение.
Масштабирование изображений Android основано на плотности устройства, поэтому вы , если у вас есть толькоизображение в папке mdpi , вы также должны разделить точки на плотность, чтобы найти реальную точку на изображении:
float[] point = new float[] {event.getX(), event.getY()};
Matrix inverse = new Matrix();
imageView.getImageMatrix().invert(inverse);
inverse.mapPoints(point);
float density = getResources().getDisplayMetrics().density;
point[0] /= density;
point[1] /= density;