Проблема в точности буфера глубины.
Значения глубины масштабируются таким образом, чтобы более близкие объекты имели больший диапазон возможных значений глубины, чем те, которые находятся дальше. Поэтому на удаленных объектах больше вероятности возникновения z-боев и других подобных проблем. См. Вопрос 12.070 в этом FAQ.
Ближние и дальние плоскости усеченного контура всегда должны быть установлены как можно ближе друг к другу, то есть: ближняя плоскость должна быть как можно дальше от камеры, оставаясь ближе к визуализируемому объекту, а дальняя плоскость должна быть как можно ближе, но при этом еще дальше, чем визуализированный объект.
Похоже, вы просто визуализируете один объект - найдите ближайшую и ближайшую точки на этом объекте, добавьте немного отступов для безопасности и используйте эти значения для ближней и дальней плоскостей.
Если вам нужно визуализировать сцену с объектами как на расстоянии, так и на переднем плане, и вы столкнулись с похожими проблемами, вы можете разделить рендеринг на две фазы. Сначала выполните рендеринг удаленных объектов с соответствующими значениями ближнего и дальнего расстояний, затем очистите буфер глубины и отобразите объекты переднего плана с их собственными соответствующими значениями ближнего и дальнего расстояний.