OpenGL не похож на вид поверхности, где каждый элемент является постоянным. Это 3D эквивалент ручки и кисти. Вы должны отслеживать все данные самостоятельно.
Таким образом, в вашем обработчике событий касания вы используете входную координату, чтобы спроецировать луч на некоторую плоскость, перпендикулярную виду. Вы должны реализовать эту проекцию самостоятельно, но это достаточно просто: найдите «пересечение плоскости луча». Это дает вам координаты на плоскости, что соответствует проекции точек на экран, где пользователь коснулся. Эти координаты используются для преобразования объекта и перерисовки сцены.