при условии, что вы использовали метод структурированного света, который использует какие-то линии (вертикальные или горизонтальные - например, двоичное кодирование или де-бружин), идея заключается в следующем:
световая плоскость идетчерез центр перспективы проектора и линию в шаблоне.
необходимо повернуть плоскость света в нормальном направлении с помощью матрицы вращения проектора относительно камеры (или мир зависит от калибровки).Вращающейся части для плоскости света можно избежать, если рассматривать центр перспективы проектора как источник системы.
, используя соответствия, которые вы найдете на изображении в пикселе, соответствующем плоскости света.теперь вам нужно определить вектор, который идет от центра перспективы камеры к пикселю на изображении, а затем повернуть этот вектор на поворот камеры (относительно проектора или мира. снова 'в зависимости от калибровки).
пересекают плоскость света с найденным вектором.как вычислить это можно найти в википедии: https://en.wikipedia.org/wiki/Line%E2%80%93plane_intersection
математическая задача (трехмерная реконструкция) здесь очень проста, как вы можете видеть.трудной частью является распознавание проецируемого рисунка на изображении (проще, чем обычное стерео, но все же трудно) и калибровка (определение относительной ориентации между камерой и проектором).