Ресурсы и подходы для обнаружения наполнения с учетом содержания

Question

Как можно подойти к проблеме разграничения изображений (и выделения областей), которые были заполнены с учетом содержания?

Позитивное изображение класса (исходное изображение без правок):

Изображение отрицательного класса (подделанное изображение с удаленными символами):

Я понимаю, что это может быть вполне осмысленно решено путем обучения сегментации сети CNN. Есть ли рабочее решение, которое я не смог найти, или подход, который относительно прост в реализации.

Эти изображения являются примерами из кодовой базы, которая выбрасывает ошибки времени выполнения.

Answer 1

Я не эксперт в этом, но насколько мне известно, алгоритмы структурного управления изображениями, такие как заполнение с учетом содержимого в Photoshop (основанное на алгоритме PatchMatch ), делят изображение на так называемые патчи определяется общей статистикой интенсивности. Затем выполняется манипуляция путем замены целевого патча исходным патчем со статистикой, которая максимально соответствует соседним патчам (минимизируя некоторую метрику расстояния).

Следовательно, на поддельном изображении вы найдете клонированные области, например, патчи с одинаковым или почти одинаковым распределением интенсивности. Чтобы обнаружить это, мой наивный подход состоял бы в том, чтобы разделить изображение на множество маленьких подизображений и использовать каждое из них в качестве маски фильтра, чтобы оно было взаимно коррелированным с полным изображением. Я ожидаю, что подлинные изображения показывают только один более или менее четкий глобальный максимум. Подделанное изображение потенциально может создать два или более «глобальных» максимума, имеющих одинаковую высоту.

Но, похоже, целая группа людей выпустила некоторый открытый исходный код для обнаружения подделок, скорее всего, с использованием более разумных подходов, чем мой -> Тема Github: Обнаружение фальшивки .