У меня есть облако точек, которое я конвертирую из .dat в .ply, используя open3d. Содержимое файла .ply представляет собой матрицу (nx3), соответствующую точкам x, y, z, а также другую (nx3), которая соответствует информации RGB. Общее количество очков более 2 миллионов (лидар был установлен на транспортном средстве). У меня также есть набор стереокамер, которые были установлены вдоль LiDAR (одна слева, одна справа), из которых у меня есть только внутренние параметры камеры.
Я пытаюсь повторить формулу, найденную в нескольких статьях, которую можно увидеть здесь , уравнения 2 и 3. Первоначально она была найдена в статье Набор данных Китти , уравнение 8. По существу, они проецируют облако точек на основе проекции камеры со следующим уравнением: где P - матрица проекции - содержит внутренние параметры камеры, R - выпрямляющая матрица вращения эталонной камеры, T_{cam} ^ {velo} жесткое преобразование мальчика из лидарных координат в координаты камеры и T_ {velo} ^ {imu}
Хочу отметить, что не все документы использовали последний параметр (T_{velo} ^ {imu}), и поскольку у меня нет информации imu, я опущу этот параметр.
Хотя у меня есть только внутренние параметры камеры, я могу извлечь поворот и перемещение камеры с помощью Essential matrix . Наряду с данными, у меня также есть файл, содержащий поворот, наклон и поворот (в градусах) камеры и лидара в то время, когда изображения были сделаны. Я знаю, что могу извлечь матрицу вращения из этих параметров, но я не совсем уверен, как использовать их в этом случае, в частности, чтобы получить преобразование твердого тела из лидара в координаты камеры. Я должен также упомянуть, что у меня есть реальные координаты камеры на момент съемки каждого изображения (в координатах x, y, z).