Как уже упоминалось, проблема является очень сложной и часто также упоминается как реконструкция объекта с несколькими видами .К нему обычно обращаются, решая проблему восстановления стереозрения для каждой пары последовательных изображений.
Выполнение стереовосстановления требует, чтобы были сделаны пары изображений, которые имеют хорошее количество видимых совпадений физических точек.Вам нужно найти соответствующих точек таким образом, чтобы затем использовать триангуляцию для поиска трехмерных координат точек.
Эпиполярная геометрия
Стерео-реконструкция обычно выполняетсясначала откалибруйте настройки вашей камеры, чтобы вы могли исправить свои изображения, используя теорию эпиполярной геометрии .Это упрощает поиск соответствующих точек, а также окончательные расчеты триангуляции.
Если у вас есть:
Вы можете вычислить фундаментальные и основные матрицы , используя только теорию матриц, и использовать их для исправления своихизображений.Это требует некоторой теории о координатных проекциях с однородными координатами , а также знании модели камеры с точечным отверстием и матрицы камеры .
Если вам нужен метод, который не требует параметров камеры и работает для неизвестных настроек камеры, вам, вероятно, следует изучить методы некалиброванной стерео реконструкции .
Проблема соответствия
Поиск соответствующих точек - это сложная часть, которая требует от вас поиска точек одинаковой яркости или цвета или использования текстурных шаблонов или некоторых других функций для идентификации одинаковых точек в парах изображений.Методы для этого либо работают локально , ища лучшее совпадение в небольшом регионе вокруг каждой точки, либо глобально , рассматривая изображение в целом.
Если выуже имеет фундаментальную матрицу , это позволит вам выпрямить изображения так, чтобы соответствующие точки на двух изображениях были ограничены линией (теоретически).Это помогает вам использовать более быстрые локальные методы.
В настоящее время все еще не существует идеального метода для решения проблемы соответствия, но возможные подходы могут относиться к следующим категориям:
- Руководствоselection : иметь человека, выбирающего вручную совпадающие точки.
- Пользовательские маркеры : размещать маркеры или использовать определенные шаблоны / цвета, которые вы легко можете определить.
- Сумма квадратов разностей : взять область вокруг точки и найти ближайшую целую совпадающую область на другом изображении.
- Графики : метод глобальной оптимизации, основанный на оптимизациииспользуя теорию графов.
Для конкретных реализаций вы можете использовать Google Scholar для поиска в текущей литературе.Вот один цитируемый документ, в котором сравниваются различные методы: Таксономия и оценка алгоритмов плотной двухкадровой стереофонической корреспонденции .
Восстановление нескольких видов
После того, как вы получите соответствующийзатем вы можете использовать теорию эпиполярной геометрии для вычислений триангуляции, чтобы найти трехмерные координаты точек.
Затем вся эта стереофоническая реконструкция будет повторяться для каждой пары последовательных изображений (подразумевая, что вам нужнопорядок изображений или хотя бы знание того, какие изображения имеют много перекрывающихся точек).Для каждой пары вы бы рассчитали разные фундаментальные матрицы.
Конечно, из-за шума или неточностей на каждом из этих этапов вы можете подумать о том, как решить проблему более глобальным образом.Например, если у вас есть серия изображений, которые сделаны вокруг объекта и образуют цикл, это обеспечивает дополнительные ограничения, которые можно использовать для повышения точности предыдущих шагов, используя что-то вроде настройка связки .
Как видите, как стереофоническая, так и многоэкранная реконструкция далеки от решенных проблем и до сих пор активно исследуются.Чем меньше вы хотите сделать в автоматическом режиме, тем более четко решается проблема, но даже в этих случаях для начала требуется немало теории.
Альтернативы
Если этов рамках того, что вы хотите сделать, я бы рекомендовал использовать специальные аппаратные датчики (например, Kinect XBox ) вместо использования только обычных камер.Эти датчики используют структурированный свет, время прохождения или какую-либо другую технику визуализации дальности, чтобы генерировать глубинное изображение, которое они также могут комбинировать с цветными данными со своих камер.Они практически решают проблему реконструкции с одним видом и часто включают в себя библиотеки и инструменты для сшивания / объединения нескольких видов.
Ссылки на эпиполярную геометрию
Мои знания на самом деле довольно тонкие по большей части теорииПоэтому лучшее, что я могу сделать, - это предоставить вам некоторые полезные ссылки (в порядке уместности):
- Я нашел PDF-главу по Геометрия множественного вида это содержит большую часть критической теории.На самом деле учебник Multiple View Geometry в Computer Vision также должен быть весьма полезным (примеры глав доступны здесь ).
- Вот страница, описывающая проект на некалиброванное восстановление стереозвука , которое, кажется, включает в себя некоторый исходный код, который может быть полезен.Они находят точки совпадения автоматически, используя один из многих методов обнаружения признаков.Если вы хотите, чтобы эта часть процесса также была автоматизирована, то Обнаружение функции SIFT обычно считается отличной техникой не в реальном времени (так как она довольно медленная).
- Статья о Реконструкция сцены из нескольких некалиброванных видов .
- Слайд-шоу по Методы 3D реконструкции по нескольким изображениям (в нем есть еще несколько ссылокниже он скользит к концу).
- Документ, в котором сравниваются различные алгоритмы стереовосстановления с несколькими видами , можно найти здесь .Он ограничивается алгоритмами, которые «восстанавливают плотные объектные модели из откалиброванных видов».
- Вот документ, в котором подробно рассматриваются случаи, когда у вас есть стереокамеры, которые делают несколько изображений: На пути к надежной метрикереконструкция с помощью динамической некалиброванной стереоголовки .Затем они находят способы самокалибровки камер.
Я не уверен, насколько все это полезно, но, надеюсь, оно содержит достаточно полезную терминологию и ссылки для поиска дополнительных ресурсов.