Я не уверен, является ли это вашей действительной ошибкой, но есть несколько вещей, которые я могу порекомендовать вам проверить. Было бы неплохо, если бы вы на самом деле предоставили скриншот того, как именно он увеличен.
Прежде всего, убедитесь, что матрицы проекции / просмотра модели точно такие же, как ваш рендеринг. Я не понимаю, как это повлияет на это, но это будет что-то, на что можно посмотреть.
Во-вторых, spec указывает, что glPixelStore, glPixelTransfer и glPixelMap могут влиять на результаты, вы должны убедиться, что они установлены правильно.
Если у вас все получится, пожалуйста, поделитесь, что пошло не так - это кажется интересным вопросом. :)