Скрытая пространственная интерполяция изображения - PullRequest
0 голосов
/ 29 августа 2018

Может кто-нибудь сказать мне, как (или его название, чтобы я мог его найти) я могу реализовать этот эффект интерполяции? https://www.youtube.com/watch?v=36lE9tV9vm0&t=3010s&frags=pl%2Cwn

Я пытался использовать r = r + dr, g = g + dr и b = b + db для значений RGB на каждой итерации, но это выглядит слишком просто по сравнению с эффектом из видео.

Ответы [ 2 ]

0 голосов
/ 29 августа 2018

"Может кто-нибудь сказать мне, как я могу реализовать этот эффект интерполяции?
(или его название, чтобы я мог его посмотреть) ...
"

На самом деле это не названный эффект интерполяции. Это кажется для интерполяции, но на самом деле это просто обновленные в реальном времени вариации некоторых вымышленных "черт лица" (волосы, глаза, нос и т. Д. синтезированы пикселей, принимающих подсказки из библиотеки / базы данных возможных совпадающих типов объектов).

Для этого метода они использовали нейронные сети, чтобы выполнить процесс, подобный Реконструкция изображения DFT . Вы будете изменять данные изображения в области Frequency (с u, v), а не в области Time (используя x, y).

Вы можете прочитать об этом в этом PDF:
https://research.nvidia.com/sites/default/files/pubs/2017-10_Progressive-Growing-of/karras2018iclr-paper.pdf

Исходный код (Python):
https://github.com/tkarras/progressive_growing_of_gans

Для идей, на Youtube вы можете посмотреть:

  • DFT image reconstruction (хороший пример с ч / б фото Николаса Кейджа, реконструированного поэтапно. Громкое музыкальное предупреждение).

  • Image Synthesis с нейронными сетями (один клип имел альтернативные дизайны обуви и сумок (фотографии предметов), "синтезированные" NN после того, как он проанализировал особенности из других существующих фотографий каталога как "вдохновение".

  • Image Enhancement Super Resolution using neural networks Этот метод наиболее близок к ответу на ваш вопрос. Один пример имеет размытое пиксельное изображение с очень низким разрешением в ч / б. Не могу сказать, мальчик или девочка. Во время теста сеть синтезирует различные изображения лица более высокого качества, которые, по ее мнению, являются правильными для входных данных тестирования.

Поняв, что / как они достигают, вы можете подумать о ярлыках для получения аналогичного эффекта без необходимости использования сетей, например: только с использованием обычных функций редактирования пикселей.

0 голосов
/ 29 августа 2018

Нашел его в другом видео, это называется «скрытая пространственная интерполяция», его нужно применять к сжатым изображениям. Если у меня есть изображение A, а следующее изображение - это изображение B, я сначала должен кодировать A и B, использовать интерполяцию закодированных данных и, наконец, декодировать полученное изображение.

...