Преобразование карты глубины в pointcloud на Raspberry PI для приложения реального времени

Question

Я занимаюсь разработкой робота на основе StereoPI. Я успешно откалибровал камеры и получил довольно точную карту глубины. Однако я не могу преобразовать свою карту глубины в облако точек, чтобы получить фактическое расстояние до объекта. Я пытался использовать cv2.reprojectImageTo3D, но не вижу успеха. Могу ли я спросить, есть ли учебник или руководство, которое учит, как преобразовать карту расхождений в облако точек?

Я очень стараюсь учиться и находить надежные источники, но смотри на безрезультатно. Итак, большое спасибо заранее.

Answer 1

При калибровке ваших камер вы вычисляете их параметры внутренней ориентации (IOP - или внутренние c параметры). Для вычисления координат XYZ из диспаратности вам также понадобятся параметры внешнего ориентирования (EOP).

Если вы хотите, чтобы ваше облако точек было относительно позиции робота, EOP можно упростить, в противном случае вам необходимо принять во внимание Учет положения и поворота робота, которые могут быть получены с помощью приемника GNSS и устройства измерения интервала (IMU). Обратите внимание, что весьма вероятно, что такие данные необходимо обрабатывать с помощью фильтра Калмана.

Затем, при условии, что вы получили (i) IOP и EOP ваших камер и (ii) карта диспаратности , вы можете сгенерировать облако точек путем пересечения . Существует несколько способов сделать это sh, я предлагаю использовать уравнения коллинеарности .