На высоком уровне, если у вас есть некоторое преобразование (вращение / перемещение) между вашей камерой и вашим лидаром и калибровочной матрицей камеры, у вас есть 3D-изображение и его 2D-проекция. То есть, если вы проецируете трехмерное облако точек на плоскость изображения камеры, у вас будет (x,y)_camera (точка в кадре камеры) для каждой (RGB)D_world == (x,y,z)_world) точки.
Полезно ли тренироваться, зависит от того, чего вы пытаетесь достичь;если вы пытаетесь найти, где находится камера, или откалибровать ее, учитывая (RGB) D данные и изображения, это можно сделать лучше с помощью алгоритма точки перспективы n (лидар может упростить это, возможно, еслион выстроил «реальный» взгляд на мир для сравнения). Будет ли это считаться помеченными данными, зависит от того, как вы пытаетесь пометить их. Они оба говорят очень похожие вещи.