Использование компьютерного зрения для определения цвета автомобилей и их изменения

Question

Я прохожу курс по компьютерному зрению.

Проект: Определите цвет автомобиля и измените его.Например: сфотографируйте красный автомобиль Honda на проезжей части, замените этот красный цвет краски на синий.Следует игнорировать изменение цвета земли / газона и т. Д.

Теперь я не знаю, является ли мой подход лучшим, но я искал, как подойти к этой проблеме

Подход:

1. Дизайн CNN, который будет обнаруживать и классифицировать изображение автомобиля на картинке.

2. Разработка отдельного классификатора CNN, который будет определять и классифицировать цвет автомобиля и связывать его с CNN

3. Соединить два CNN вместе,Создание нейронной сети, в которой один CNN будет выполнять детальное определение цвета, а второй CNN классифицирует изображение и автомобиль внутри.

4. Создайте GAN-подобную сеть, которая принимает цвет автомобиля.Если цвет автомобиля уже синий, ничего не происходит, но если цвет автомобиля красный, то GAN изменит цвет автомобиля на синий.

Существуют ли различные способы решения этой проблемы?

Я хочу разобраться с этой проблемой самостоятельно, но, пожалуйста, укажите мне правильное направление

Answer 1

Несмотря на то, что ваш подход может выполнить работу, он выглядит излишним, чтобы обучить несколько сетей просто для изменения цвета.

Более простым подходом может быть попытка сегментировать автомобиль по изображению.В основном улучшенная версия вашего шага 1. После того, как у вас есть маска для автомобиля, изменить цвет довольно легко с помощью opencv.Для сегментации автомобиля вы можете обратиться к https://github.com/matterport/Mask_RCNN.. Использовать предварительно обученную версию.

Другой способ - напрямую обучить GAN, чтобы выполнить все это без прохождения промежуточных этапов.Взгляните на https://junyanz.github.io/CycleGAN/.