Описание и изображение, которое вы разместили, не дают много информации. Но из моего опыта с трехмерной реконструкцией кажется, что внешние или внутренние параметры не верны.
Таким образом, что-то пошло не так с вашей калибровкой. Вы должны получить внутреннюю калибровку обеих камер и внешнюю калибровку между вашими камерами.
- Внешние параметры представляют относительное положение и ориентацию между камерами. Таким образом, если они неверны, может произойти все что угодно, в основном облако точек чрезвычайно вырождено.
- Внутренние параметры описывают, как 3D-точки проецируются на 2D-изображение. Таким образом, если у вас неверные внутренние параметры, ваше облако точек деформируется с помощью линейного преобразования (предполагается, что имеется незначительное радиальное / тангенциальное искажение или искажение более высокого порядка, соответственно).
Существует много хорошей литературы по теме 3D-реконструкции и стерео. Одной из самых важных из них является книга Ричарда Хартли и Эндрю Циссермана « Геометрия множественного вида ».