Делайте это вручную, используя пересечение лучей. Используйте матрицу камеры (если она не указана явно, вы можете запросить ее из OpenGL), используйте ее для генерации луча в мировом пространстве и посмотрите, пересекает ли он ваше конкретное лицо или нет. Сортируйте пересечения по глубине (t), и у вас будет самая близкая грань под курсором.
В зависимости от вашей структуры данных (иерархии и т. Д.) И размера это может быть либо очень медленным, либо очень эффективным.