Расчет соответствующих пикселей

Question

У меня компьютерное зрение с двумя камерами. Одна из этих камер - камера времени полета. Это дает мне глубину сцены в каждом пикселе. Другая камера - стандартная камера, дающая мне цветное изображение сцены.

Мы хотели бы использовать информацию о глубине для удаления некоторых областей из цветного изображения. Мы планируем отслеживание объекта, человека и руки на цветном изображении и хотим удалить удаленный фоновый пиксель с помощью камеры времени полета. Пока еще не ясно, можно ли выровнять камеры параллельно.

Мы могли бы использовать OpenCv или Matlab для расчетов.

Я много читал о ректификации, эпипаргарометрии и т. Д., Но у меня все еще есть проблемы с отображением шагов, которые необходимо предпринять, чтобы рассчитать соответствие для каждого пикселя.

Какой подход вы бы использовали, какие функции можно использовать. На какие этапы вы бы поделили проблему? Есть ли где-нибудь учебник или пример кода?

Обновление Мы планируем выполнить автоматическую калибровку с использованием известных маркеров, размещенных на сцене

Answer 1

Если вы хотите надежных соответствий, вы должны рассмотреть SIFT . В MATLAB есть несколько реализаций - я использую библиотеку Vedaldi-Fulkerson VL Feat .

Если вам действительно нужна высокая производительность (а я думаю, что нет), вам следует подумать об использовании OpenCV SURF детектора.

Если у вас есть другие вопросы, задавайте. Этот другой ответ мой может быть полезным.

PS: По соответствию, я предполагаю, что вы хотите найти координаты проекции одной и той же 3D-точки на обоих ваших изображениях - то есть координаты (i,j) пикселя u_A в Изображение A и u_B на изображении B, которое является проекцией той же точки в 3D.