У меня есть машина, оборудованная камерой и GNSS / INS, для создания набора данных для вождения в сложных условиях на открытом воздухе с плохой освещенностью.
Моя цель - объединить измерения зрения и GNSS / INS для одновременной локализации и картирования (SLAM), поскольку визуальный SLAM довольно ненадежен.
В видении, для всех ключевых точек, выделенных в последовательных кадрах, я нахожу либо гомографию, либо фундаментальные матрицы (основанные на 8 парах точек), чтобы иметь возможность рассчитать R,t для оценки положения камеры. Прочитав некоторые статьи и алгоритмы, я заметил, что если совпадение ORB не найдено, измерения GNSS / INS должны использоваться для локализации транспортного средства (инициализация тоже!).
В GNSS / INS у меня есть широта, долгота, высота, крен, угол наклона и курс, по которым я могу рассчитать свою наземную правду в East-North-Up системе координат. Поскольку он был синхронизирован с датчиком зрения, я получаю эти параметры для каждого кадра. Например, если у меня 656 кадров, я получу 656 измерений. Поэтому я могу легко рассчитать R,t для каждого кадра.
Мой вопрос на самом деле об интеграции измерений GNSS / INS с видением, чтобы можно было рассчитать матрицу 4x4 транспортного средства?
Ваша помощь будет принята с благодарностью!
Приветствия