Когда вы рисуете в OpenGL, вы рисуете в буфер на графической карте. Буфер не имеет истории, он содержит только информацию о текущих пикселях. Чтобы переместить объект без перерисовки других объектов, вы не знаете, что поместить в пиксели, где находится ваш объект.