Возможно, не тот ответ, который вы ищете, но вы подходите к своей проблеме с неправильной точки зрения. OpenGL должен использоваться для рисования вашей сцены и только для этого. Управление сценой и все, что с ней связано (преобразования, деформации ... и многие другие), должно осуществляться вами (или соответствующей структурой).