Реконструкция стереозрения 3D: разъяснение о выпрямлении изображения

Question

Учитывая пару стереоизображений от калиброванной пары камер, обычно требуется применить выпрямление. Как указано в «Вычислении выпрямляющих гомографий для стереоскопического зрения» L oop и Чжаном ( link ):

В общем, эпиполярные линии не выровнены с осью координат и являются не параллельно. Такой поиск занимает много времени, так как мы должны сравнивать пиксели на наклонных линиях в пространстве изображения Эти типы алгоритмов можно упростить и сделать более эффективными, если эпиполярные линии выровнены по оси и параллельны. Это может быть реализовано путем применения 2D проективных преобразований или гомографий к каждому изображению. Этот процесс известен как исправление изображения. Пиксели, соответствующие точечным объектам из пары выпрямленных изображений, будут l ie на одной и той же горизонтальной линии развертки и различаются только по горизонтальному смещению.

Чтобы выполнить 3D-реконструкцию, необходимо запустить алгоритм сопоставления на изображениях для решения известной проблемы соответствия .

Применяются ли алгоритмы сопоставления к исходным изображениям или к исправленным? На самом деле искажение, вызванное выпрямлением, может привести к сбою распознавания образов, верно?

Пожалуйста, поделитесь ссылкой, если таковая имеется Спасибо.

Answer 1

Большинство алгоритмов сопоставления (например, «полуглобальное сопоставление блоков», используемых в opencv) требуют правильных пар исправленных стереоизображений. Таким образом, алгоритмы сопоставления применяются к выпрямленным изображениям.

Что фактически делает выпрямление, так это деформирует изображение таким образом, чтобы эпиполярные линии проходили горизонтально на обоих изображениях. Это означает, что объекты на обоих изображениях находятся в одной вертикальной плоскости изображения после выпрямления. Таким образом, алгоритмы сопоставления должны только проверять соответствие по линиям изображения вместо всего изображения.

"Искажение", вносимое выпрямлением, обычно состоит только из геометрии c и аффинных преобразований изображения. Изображения преобразуются так, что они лучше выровнены и, следовательно, распознавание образов соответствующих алгоритмов лучше после выпрямления.

Возможным источником дополнительной информации могут быть "Хартли, Ричард и Эндрю Циссерман. Многократное представление геометрия в компьютерном зрении. Издательство Кембриджского университета, 2003. "