Как удалить полосы дождя из дождливого изображения

Question

Я работаю под руководством профессора, и недавно я изучал Conv-нейронные сети и Генеративные состязательные сети и смог реализовать базовые c python коды по этим темам, используя набор данных MNIST. Теперь мне дано задание попытаться удалить полосы дождя с дождливых изображений. Я прочитал статью, где они использовали для этого Авто-кодировщики и GAN, но я не знаю, что делать и как действовать. У меня 1000 чистых картинок и 14000 дождливых картинок по 14 чистых. Я получил этот набор данных от github, и у меня также есть некоторые изображения только полос дождя. Я довольно плохо знаком с CNN и GAN, и я даже не знаю, является ли это простой задачей или сложной только для меня. Но я очень смущен. Кто-нибудь может подсказать некоторые вещи?

Answer 1

Вы можете решить эту проблему, используя методы перевода изображений в изображения.

• Если у вас есть парные изображения (чистое изображение и соответствующее дождливое изображение), вы можете использовать несколько парных подходов, таких как Pix2Pix (paper + github: link ). Реализацию Github легко адаптировать к вашему случаю, просто поместите ваши изображения в соответствующие папки и запустите тренинг.
• Если у вас нет парных изображений, но есть изображения в двух доменах (чистые изображения, и дождливые изображения), используйте неконтролируемое изображение для перевода изображения. CycleGan - хорошая архитектура, и она работает очень хорошо ( ссылка ). Реализация также проста в использовании.

Примечание: во всех случаях вам понадобится графический процессор для обучения моделей!