Вы не можете восстановить трехмерную точку из вращающейся камеры.
Я предлагаю вам попытаться нарисовать пример. Идея триангуляции состоит в том, чтобы вычислить пересечение двух лучей обратной проекции. Эти лучи проходят через центр камеры и точку восстановления. На чертеже вы обнаружите, что пересечение становится тем точнее, чем больше так называемая базовая линия стерео (это перевод из одного центра камеры в другой).
Теперь для вращающейся камеры Центр камеры остается тем же, и, следовательно, два луча идентичны. Пересечение не определено.