Простая формула Depth = Baseline * focal length/ Disparity
действительна только для случая, когда оси камер параллельны. Предполагая, что у вас хорошие совпадения, встроенные (конвергентно-осевые) камеры вызовут отрицательные различия в некоторых частях плоскости изображения.
Однако размещенное вами изображение несоответствия также выглядит некачественным, что вызывает у меня подозренияу вас также есть плохие совпадения: разумно ли, учитывая вашу сцену, неравномерно раскачиваться в нижней средней части?