Сопоставление RGB-изображения с облаком точек

Question

У меня есть изображение RGB и облако точек, полученные LIDAR.В изображении RGB я обнаруживаю особенность, скажем, круг.Я хочу использовать этот круг в качестве ROI в моем облаке 3D-точек.Как я могу это сделать?Я думал создать трехмерное облако точек из изображения RGB через параметры камеры, а затем сопоставить 2 с алгоритмом icp.Проблема в том, что в момент, когда я создаю облако точек из 2D-изображения, моя система координат меняется, поэтому я больше не знаю положение своего круга.Для выполнения 3d реконструкции я использую функцию triangulateMultiview

Answer 1

Я думал создать трехмерное облако точек из изображения RGB через параметры камеры, а затем сопоставить 2 с алгоритмом icp.-> это не будет работать и не эффективно.

На самом деле, есть гораздо лучший способ.Предполагая, что вы знаете внешнее пространство между камерой и лидаром, любой круг (или эллипс) на изображении может быть расширен в трехмерный конус с помощью встроенной камеры, и, выбрав точки внутри конуса, вы можете выполнить операцию ROI.

Допустим, вы можете определить эллипс на плоскости изображения, обнаружив и найдя параметры уравнения эллипса.Уравнение эллипса может быть расширено до квадратного (конусного) уравнения, представляющего трехмерный конус.Теперь осталось только проверить, находится ли ваша 3d-точка в конусе, поместив уравнение конуса.

Это математически немного сложная задача, если вы не знакомы с моделью камеры или квадратным уравнением.