Я пытаюсь создать 3D тепловую карту, используя LSD SLAM, согласно статье: https://pdfs.semanticscholar.org/fe3a/9b89c0adcacb95581ad2e528e86b7d18c1f0.pdf
Я использую RGB-камеру Orbbec Astra и FLIR E40, и они были откалиброваны (внутренние и внешние)
Процесс создания соответствующей тепловой карты выглядит следующим образом:
Во время обновления ключевого кадра, для каждого пикселя в изображении ключевого кадра, получите его трехмерные координаты в кадре камеры RGB, используя обратную карту глубины.
Используя внешние параметры, получите точку в кадре тепловой камеры и перепроектируйте точку в тепловое изображение, используя его собственную матрицу. Значение изображения даст нам тепловое значение пикселя изображения.
У меня есть внутренняя и внешняя сущность двух камер. Я искал код ядра SLD SLAM (https://github.com/tum-vision/lsd_slam) и его рабочий форк для ROS Kinetic - https://github.com/kevin-george/lsd_slam/wiki/LSD-SLAM-with-ROS-and-Ubuntu-16.04
Используя Doxygen, чтобы понять это лучше. Однако мне слишком сложно определить, где и как я могу начать вносить изменения в код, чтобы эта штука работала.
Я ожидаю, что в дополнение к карте, созданной LSD SLAM, должна быть создана трехмерная тепловая карта.
Любая помощь будет принята с благодарностью, так как у меня есть крайний срок для этого в месяц.
Спасибо