Как решить проблему шахматной доски, вызванную входными патчами в глубоком обучении на основе супер разрешения

Question

Я изучаю модель DBPN, которая является моделью глубокого обучения для суперразрешения, с каркасом тензорного потока. Я страдаю от "проблемы с шахматной доской" при восстановлении масштаба x4. Я знаю, что причина заключается в использовании входных патчей (размер 32x32) из-за вычислительной мощности, так что возникает проблема с каждым шагом 32 ..

Может кто-нибудь дать мне решения, чтобы справиться с этой проблемой?Спасибо !!

Я уже проверил, что размер ядра должен быть кратным размеру шага

Answer 1

На Distill есть отличная статья .Там говорится:

Один из подходов состоит в том, чтобы убедиться, что вы используете размер ядра, который делится на ваш шаг, избегая проблемы наложения.Это эквивалентно «субпиксельной свертке», технике, которая недавно имела успех в сверхразрешении изображения [8].Однако, несмотря на то, что этот подход помогает, деконволюции все еще легко впасть в создание артефактов.

Другой подход заключается в том, чтобы отделить повышающую дискретизацию до более высокого разрешения от сверточной для вычисления функций.Например, вы можете изменить размер изображения (используя интерполяцию ближайшего соседа или билинейную интерполяцию), а затем сделать сверточный слой.Это кажется естественным подходом, и примерно аналогичные методы хорошо сработали в супер-разрешении изображения (например, [9]).

Быстрый поиск в Google также показывает a число документов и исходный код , посвященный этой проблеме.