@ Никол Болас уже прокомментировал это, но я дам это как ответ:
OpenGL не предназначен для этого. OpenGL - это API рендеринга , то есть он предназначен для рисования. И хотя OpenGL-1 и OpenGL-2 имеют функции манипулирования элементарной матрицей, это не линейная математическая библиотека и не система вычислительной геометрии. Может быть (на самом деле это ) возможно злоупотреблять OpenGL для такого рода вещей, но это не значит, что вы должны это делать.
Или проще говоря: OpenGL не делает такого рода вещи. Вы не можете (ну, не должны) делать это, используя OpenGL.