Учитывая, что у вас есть внешняя матрица обеих камер, вы не можете просто взять обратную внешнюю матрицу камеры 1, умноженную на внешнюю матрицу камеры 2?
Также, для прямой связи между двумя камерами, взгляните на Фундаментальную Матрицу (или, более конкретно, Эссенциальную матрицу). Посмотрите, сможете ли вы найти копию книги «Геометрия множественного обзора» Хартли и Циссермана.
Что касается нормалей поверхности, то вы можете сами их вычислить, вычислив перекрестные продукты по углам треугольников. Однако сначала вам нужно восстановить трехмерное облако точек.