Проекция трехмерной лидарной точки на изображение i-й камеры (набор данных KITTI) - PullRequest
Новая
       49

Проекция трехмерной лидарной точки на изображение i-й камеры (набор данных KITTI)

0 голосов
/ 29 мая 2019

Я работаю над проблемой классификации объектов и использую данные лидара и камеры из набора данных Kitti., В этой статье: http://ww.cvlibs.net/publications/Geiger2013IJRR.pdf, они предоставляют формулы для проецирования 3d PointCloud на плоскость изображения i-й камеры, но некоторые вещи я не понимаю:

Следующее уравнение ((3):

Если 3D-точка X находится на изображении с велодинной камеры, а Y на изображении с i-й камеры, почему X имеет четыре координаты, а Y три? Должно было быть 3 и 2, нет?

Formula

Мне нужно спроецировать трехмерное облако точек на плоскость изображения камеры, чтобы затем создать лидарные изображения, чтобы использовать их в качестве канала для CNN. Кто-нибудь, у кого есть идеи для этого?

Заранее спасибо

1 Ответ

0 голосов
/ 29 мая 2019

Для вашего первого запроса относительно x и y есть два объяснения.

Причина 1.

  • Для повторного проецирования изображения используется модель камеры с отверстием под штифт, которая находится в координата перспективы или однородная координата. перспективы Проекция использует источник изображения в качестве центра проекции и точек отображаются на плоскость z = 1. Трехмерная точка [x y z] представлена [xw yw zw w] и точка, которую он отображает на плоскости, представлена на [xw yw zw]. Нормализация с помощью w дает.

    Итак (x, y) -> [x y 1] T : координаты однородного изображения

    и (x, y, z) -> [x y z 1] T : однородные координаты сцены

Причина 2.

  • Что касается бумаги, которую вы приложили, учитывая уравнение (4) и (5)

    enter image description here

    enter image description here

    Ясно, что P имеет размер 3X4, а R расширен до размера 4x4. Также x имеет размер 1x4. Таким образом, согласно правилу умножения матриц количество столбцов первой матрицы должно равняться количеству строк второй матрицы. Таким образом, для заданного P 3x4 и R 4x4, x должен быть 1x4.

Теперь перейдем ко второму вопросу о слиянии изображений LiDAR. Для него требуются внутренние и внешние параметры (относительное вращение и перемещение) и матрица камеры. Это вращение и перемещение образуют матрицу 3x4, называемую матрицей преобразования. Таким образом, точечные уравнения слияния становятся 

[x y 1]^T = Transformation Matrix * Camera Matrix * [X Y Z 1]^T

Вы также можете сослаться :: Lidar Image Fusion KITTI

Как только слияние изображений LiDAR завершено, вы можете ввести это изображение в свою модель CNN. Мне не известны модули DNN для слитного изображения LiDAR.

Надеюсь, это поможет ..

...