Восстановление стерео изображений

Question

У меня есть две ссылки на источник стерео изображений. Я нашел фундаментальную матрицу, и теперь мне нужно восстановить ref img (геометрически похожий) с соответствующей точкой в ​​sr c img, ищущей вдоль эпиполярной линии этой точки в ref img. Как будто я должен извлечь патч для точки в ref img и сравните этот патч с патчами на другом изображении вдоль эпиполярной линии. Я должен выбрать патч вдоль эпиполярной линии, который является наилучшим совпадением, и поместить его в точку «x» точки. таким образом я получаю реконструированное изображение. Можете ли вы сказать мне, как выбрать лучшее соответствие для патча. например, каковы критерии и как выбрать размер патча.

Answer 1

Выбор наилучшего размера патча - это гиперпараметр, который вы выбираете самостоятельно и который основан на экспериментах. Однако выбор наилучшего совпадения вдоль эпиполярной линии точно такой же, как если бы вы выполняли сопоставление несоответствия. Просто найдите патч вдоль линии, которая имеет наименьшую сумму квадратов отличий от эталонного патча.

Однако, чтобы упростить задачу, эпиполярные линии используются для стерео выпрямления , где сканируют линии Для поиска соответствующего патча сделано так, чтобы поиск патчей осуществлялся горизонтально. Использование cv2.stereoRectify в сочетании с cv2.remap должно помочь вам в этом. Взгляните на OpenCV StereoRectify искажает изображение для вдохновения.