Используя изображения RGB и PointCloud, как создать карту глубины из PointClouds? (Python)

Question

Я работаю над слиянием изображений лидаров и камер, чтобы выполнить алгоритм классификации объектов с использованием CNN.

Я хочу использовать набор данных KITTI, который предоставляет синхронизированные данные изображений лидаров и rgb.Лидар - это 3D-сканеры, поэтому на выходе получается 3D Point Cloud.

Я хочу использовать информацию о глубине из облака точек в качестве канала для CNN.Но я никогда не работал с облаком точек, поэтому прошу помощи.Проецирование облака точек на плоскость изображения камеры (с использованием матрицы проекции, предоставленной Китти) даст мне карту глубины, которую я хочу?Python libray pcl полезен или мне следует перейти на библиотеки c ++?

Если у вас есть предложения, заранее спасибо

Answer 1

Я не уверен, что включает в себя матрица проекций, предоставляемая Китти, так что ответ зависит.Если эта матрица проекции содержит только матрицу преобразования, вы не можете сгенерировать карту глубины из нее.2D-изображение имеет искажения, которые исходят от 2D-камеры, а облако точек обычно не имеет искажений, поэтому вы не можете «точно» отобразить облако точек на rgb-изображение без внутренних и внешних параметров.

PCL не требуется для этого.

Карта глубины по сути является отображением значения глубины в изображение RGB.Вы можете рассматривать каждое облако точек (каждый лазер лидера) как пиксель изображения RGB.Поэтому, я думаю, все, что вам нужно сделать, - это найти, какое облако точек в точке соответствует первому пикселю (верхнему левому углу) изображения RGB.Затем прочитайте значение глубины из облака точек на основе разрешения изображения RGB.