3D облако точек от непрерывного видеопотока двух (стерео) камер

Question

У меня есть непрерывные видео, снятые двумя камерами, расположенными в верхнем правом и левом углах лобового стекла моей машины (обратите внимание, что они не прикреплены друг к другу, и я выровнял их примерно прямо). Сейчас я пытаюсь сделать из этого облако точек 3D и понятия не имею, как это сделать. Я много занимался серфингом по inte rnet и до сих пор не смог найти никакой полезной информации. Можете ли вы выслать мне несколько ссылок или советов о том, как я могу заставить это работать в Python.

Answer 1

Вы можете попробовать реализацию стереосогласования и генерации облака точек в библиотеке OpenCV . Начните с этого короткого Python семпла .

Я предполагаю, что у вас есть два независимых видеопотока, которые точно не синхронизированы. Сначала вам нужно будет их синхронизировать, поскольку в связанном образце ожидаются два изображения, а не видео. Извлеките изображения из видео, используя OpenCV или ffmpeg и найдите пару изображений, которые имеют одинаковый момент времени (например, зеленый свет появляется на светофоре c). В качестве альтернативы вы можете использовать звуковые дорожки для синхронизации, см. https://github.com/benkno/audio-offset-finder. Осторожно: синхронизация, основанная на одной паре кадров или коротком фрагменте аудио, вероятно, будет работать только в течение нескольких минут до и после синхронизированного момента времени.