Использование изображений лидаров и изображений с камер для обнаружения объектов - PullRequest
Новая
       35

Использование изображений лидаров и изображений с камер для обнаружения объектов

0 голосов
/ 17 июня 2019

Я получаю карты глубины и отражения от Лидара (2D-изображения), а также у меня есть изображения с камеры (2D-изображения). Изображение имеет одинаковый размер.

Я хочу использовать CNN для обнаружения объектов с использованием обоих изображений. Это своего рода "фьюжн CNN"

Как мне это сделать? Предполагается ли мне использовать модель перед поездом? Но это не модель предварительного поезда с использованием лидарных изображений ..

Какой алгоритм CNN является лучшим для этого? т.е. для выполнения слияния модальностей для обнаружения объекта

Заранее спасибо

1 Ответ

0 голосов
/ 27 июня 2019

Предполагалось ли использовать модель перед поездом?

Да, следует, если только вы не уверены, что можете найти работающую модель непосредственно самим.

Но это не модель предварительного поезда с использованием лидарного изображения

Во-первых, я уверен, что есть сеть на основе LIDAR. Например,

L Caltagirone, LIDAR-Camera Fusion для обнаружения дорог с использованием полностью Сверточный ... arxiv, 2018

Во-вторых, даже если не существует реализации с открытым исходным кодом для прямой на основе LIDAR, вы всегда можете преобразовать LIDAR в изображение глубины. Для основанного на глубине изображения CNN существуют сотни реализаций для сегментации и обнаружения.

Как мне это сделать?

Во-первых, вы можете разместить их параллельно друг другу, для RGB и LIDAR 3d pointcloud. Накормите их отдельно

Во-вторых, вы также можете объединить их, объединив вход в тензор 4D и перенести начальный вес в одну модель. Наконец, выполните трансферное обучение в заданном вами наборе данных.

лучший алгоритм CNN?

Полностью зависит от вашей задачи и оборудования. Вам нужна лучшая скорость обработки или лучшая точность? Определите свое «лучшее», пожалуйста.

ALso Используете ли вы его для автономного автомобиля или для внутренней системы ухода за медсестрой? другая система CNN настраивает вес для разных целей.

Как правило, для обнаружения нескольких объектов в режиме реального времени с использованием дешевого ПК, например, DJI-манифольда, я бы предложил Yolo-tiny

...