Дополните искусственные изображения, чтобы они выглядели как реальные изображения для обнаружения объектов TF

Question

Я использую модель Faster R-CNN Inception ResNet v2 из Tensorflow Object Detection API для обучения CNN для обнаружения знаков безопасности.Поскольку у меня нет реального набора данных изображений, я написал код, который создает искусственный набор данных, состоящий из нарисованных на компьютере изображений знаков и реальных фоновых изображений из общедоступных наборов данных (GTSDB, KITTI и т. Д.).Хотя обученная модель прекрасно работает с невидимыми искусственными изображениями, она не очень хорошо работает с реальными тестовыми изображениями, которые я сделал на своем iPhone 5SE.

У меня уже есть различные методы увеличения данных от imgaug (https://imgaug.readthedocs.io/en/latest/index.html)), и я искал решение в Интернете, но безуспешно для реальных изображений.

Также изменение размера тестаизображения размером, близким к размеру обучающих изображений, и их преобразование в формат .png не оказывает никакого влияния.

Одно из моих искусственных изображений, которое я использую для обучения (размер: 640x480, формат: .png):

И одно из реальных тестовых изображений, которое следует использовать для тестирования модели (размер: 3024x4032, формат: .JPG):

Моя идея состоит в том, что мои изображения не достаточно близки к изображениям реального мира, и, следовательно, классификация последних не работает. Другая идея состоит в том, что мой набор данных не включаетдостаточно «нормальных» (не сильно дополненных изображений, которые не были дополнены большим количеством изображений gaussianNoise, поворота, масштабирования и т. д.). Какие-нибудь идеи, как я мог бы сделать свои тренировочные изображения более реальными?Также добро пожаловать.

Answer 1

Мы сделали нечто подобное в нашей компании.Вообще говоря, это плохая идея, и ее следует использовать только тогда, когда невозможен другой способ получения таких данных.Действительно, потратив неделю на аннотирование данных реального мира, вы получите гораздо лучший результат.

Однако, если вы хотите следовать этому подходу, вот полезные советы, которые мы нашли:

• Постарайтесь использовать ваши искусственные объекты с умом, поэтому используйте фон, близкий к его яркости, резкости и т. Д., Чтобы он выглядел немного более естественным
• Размещайте знаки в нужных местах, например на стенах, а не на дороге
• Заморозьте свою сеть извлечения функций
• Используйте небольшую скорость обучения (что-то вроде 5e-07).

Это просто рекомендации против перегрузки.

ТакжеЯ вижу, что разрешения на поездах и тестовых наборах резко отличаются.Измените размер набора тестов вручную перед подачей изображений на модель.