Вы бы пропустили прямоугольник через те же матрицы, что и OpenGL, чтобы преобразовать трехмерные точки в двухмерные. Получите ваши входные векторы, умножьте их на любые, которые вы хотите применить к объекту, матрицу ModelView, матрицу проекции, затем у вас есть координаты экранного пространства. Затем проверьте, отображаются ли полученные координаты на экране, затем вы можете рассчитать минимальные / максимальные координаты X и Y и получите ограничительный прямоугольник.
См. Также здесь (9.100), если у вас есть доступные функции библиотеки утилит GLU:
http://www.opengl.org/resources/faq/technical/transformations.htm
Надеюсь, это поможет.