Функция glRotatef создает матрицу, которая умножается на текущую матрицу, которая существует в стеке, чтобы получить поворот на экране. Даже если бы вы могли получить эту матрицу, вам все равно пришлось бы умножить ее на свои векторы, чтобы получить желаемые значения, что вы и должны были бы сделать, если бы вы делали математику самостоятельно. Как сказал datenwolf, для вас будет лучше создать библиотеку математики, которая будет выполнять все необходимые действия для манипулирования объектами в 2D или 3D мире.