Движение по орбите на самом деле просто перевод.У вас есть два варианта: либо объединить матрицу вращения с переводом и отменить вращение, либо рассчитать соответствующий вектор перевода.
Первый вариант будет:
R(theta) * T(0, 0, orbitRadius) * R(-theta)
Второй вариант будетбыть:
T(0, -orbitRadius * sin(theta), orbitRadius * cos(theta))