OpenGL - это API для рисования, а не какая-то универсальная библиотека геометрии. Вы должны использовать стороннюю библиотеку тесселяции-триангуляции. К вашему сведению: GLU (gluTesselate) является не частью OpenGL.
OpenGL использует собственную логику тесселяции для отрисовки точек
Что именно вы имеете в виду / думаете под этим? OpenGL принимает данные о вершинах и примитивном режиме и обрабатывает их. Вы можете прикрепить шейдер тесселяции, чтобы улучшить геометрию на ходу, но это не то, что вам, вероятно, нужно.