Да, несоответствие нуждается в исправленных изображениях.Поскольку стереофоническое согласование выполняется с помощью эпиполярных линий, выпрямленные изображения гарантируют, что все искажения выпрямлены, и, следовательно, алгоритм может искать блоки по прямой линии.Для базового уровня вы можете попробовать StereoBM, предоставляемый openCV, используя пару рецитированных стереоизображений.
Необработанные кадры с камеры -> Выпрямление -> Карта диспаратности -> Восприятие глубины.
Это будет конвейер для любой пассивной стереокамеры.