Подразделение Catmull-Clark - хороший алгоритм, который дает довольно хорошие результаты для сглаживания. Вы можете применить его несколько раз.
Алгоритм довольно прост в реализации.
О том, что это в режиме реального времени, пока что я реализовал его только статически, но - AFAIK - абсолютно возможно реализовать его как геометрический шейдер.
В Blender также используется алгоритм сглаживания . Это не основано на подразделении (это не изменяет вершину или число лиц); он просто перемещает вершины, чтобы уменьшить углы между соседними вершинами. Опять же, должна быть возможность быть реализованной в GLSL, четко в режиме реального времени.
Эти два можно использовать вместе.