По крайней мере, в Windows GLU_TESS_ERROR_5 означает, что одна из координат была слишком большой. В частности, GLU требует, чтобы координаты были достаточно малы, чтобы их можно было умножить без переполнения. В спецификации говорится, что предел определяется в константе GLU_TESS_COORD_TOO_LARGE. Если эта константа существует, убедитесь, что абсолютное значение каждой координаты меньше ее. Если нет, я думаю, что было бы безопасно проверить, что координаты находятся между - 10 ^ 150 и 10 ^ 150. Если это не сработает, попробуйте постепенно уменьшать диапазоны.
Может также быть, что есть проблема с геометрией, которая вызывает другую проблему в GLU. Попробуйте найти самый простой многоугольник, который вызовет эту ошибку.
Если это не сработает, посмотрите, доступна ли более новая версия GLU. Я не знаю о Mesa, но версия OpenGL, поставляемая с VC ++, как известно, устарела.
Если ничего не помогает, вы можете попробовать использовать другую библиотеку для выполнения тесселяции. После быстрого поиска, Треугольник 1 кажется хорошим кандидатом.