Как OpenGL выполняет преобразование области просмотра?
Спецификация OpenGL-3.1 определяет это в разделе 2.12. Здесь слишком долго цитировать, просто скачайте документ с http://opengl.org и прочитайте для себя.
AFAIK OpenGL не определяет конкретную операцию округления. OpenGL вовсе не является точным пикселем, поэтому реализации могут реализовать его, как ему удобно.
И можно ли каким-либо образом настроить это поведение?
Нет, о чем я знаю. Лучшее, что вы можете сделать, это написать вершинный шейдер, который преобразует вершины таким образом, чтобы они заканчивались целочисленными координатами (+/- небольшое смещение, если используется floor или ceil) после всей цепочки преобразования.