Визуальная одометрия, параметры камеры

Question

Я изучаю визуальную одометрию и смотрю видеозаписи профессора доктора Кирилла Стахнисса, которые доступны на YouTube 2015/16. Плейлист о фотограмметрии I и II.

Во-первых, если я хочу создать свою собственнуюнабор данных (например, набор данных KITTI для VO или набор данных кампуса в Оксфорде), какими должны быть свойства изображения, которое я получаю с помощью камеры. Это просто изображения? Или у них есть особые свойства? То есть, как я могу создать свой собственный набор данных с помощью монокулярной или стереокамеры.

Во-вторых, если я успешно создаю (я должен сделать!) Свой собственный набор данных, как я получу параметры камеры из изображений? Как я могу узнать внешние и внутренние параметры из изображений?

Спасибо.

Answer 1

Если вы хотите сравнить некоторые алгоритмы визуальной одометрии с вашим набором данных, вам определенно потребуются внутренние параметры вашей камеры, а также ее поза.

• Как сказано в ответе @ f4fвстроенная калибровка обычно выполняется с некоторыми изображениями шахматной доски, которую вы наклоняете и поворачиваете (см. opencv ). Это даст вам такие параметры, как фокусное расстояние, оптический центр, а также коэффициенты искажения, которые могут быть важны в зависимости от вашей камеры.

• Получение позы камеры (то есть внешних параметров) прикаждый кадр, вероятно, сложнее. Обычно достоверность получена с использованием информации от дополнительных датчиков (система слежения, IMU, GPS, ...). Вы можете просмотреть: Набор данных SLAM TUM RGB-D и соответствующую бумагу . Они объясняют, как они использовали систему захвата движения, чтобы получить позу «правда-земля».

• Запись времени съемки кадров камеры также может быть интересной (одна временная метка на кадр).

Создание собственного набора данных визуальной одометрии не является тривиальным. Если вы просто хотите создать набор данных «для развлечения» или провести несколько экспериментов и если у вас есть только камера, я бы сказал, что вы можете просто попробовать некоторые методы, которые, как известно, работают хорошо (например, ORB-SLAM). Это даст вам приблизительный пример поз камеры (возможно, вам придется вручную зафиксировать неизвестный масштаб).

Answer 2

Чтобы получить внешние и внутренние параметры изображения, вы должны иметь набор изображений известной формы из разных видов. Это не тривиальная задача, которую можно выполнить самостоятельно, так как в обычных библиотеках / решениях CV есть встроенные утилиты для калибровки камеры (мне приходится иметь дело с библиотекой OpenCV и пакетом Matlab CV, и они обычно одинаковы). Обычно это делается с помощьючерно-белая шахматная доска или другой простой геометрический рисунок.

Затем с известными параметрами камеры вы можете манипулировать собственным набором данных.

Ссылка на калибровку камеры Matlab

Руководства по калибровке камеры OpenCV