CycleGAN для непарного преобразования изображения в изображение

Question

Ссылаясь на оригинальную статью о CycleGAN, я запутался в этой строке

Оптимальный G, таким образом, переводит область X в область Yˆ, распределенную идентично Y.Однако такой перевод не гарантирует, что отдельные входные данные x и выходные данные y имеют многозначную пару - существует бесконечно много отображений G, которые будут вызывать одинаковое распределение по yˆ.

Я понимаюЕсть два набора изображений, и между ними нет спаривания, поэтому, когда генератор получит одно изображение, скажем, что x из набора X в качестве входных данных и попытается преобразовать его в изображение, похожее на изображения из набора Y, тогда мой вопрос заключается в том, что естьмного изображений, присутствующих в наборе Y, так на что у будет переведен наш х?В наборе Y так много вариантов. Это то, что указано в этих строках статьи, которую я написал выше?И является ли это причиной того, что мы принимаем циклические потери, чтобы преодолеть эту проблему и создать некоторый тип спаривания между любыми двумя случайными изображениями путем преобразования x в y и затем преобразования y обратно в x?

Answer 1

хорошо, изображение x не будет преобразовано в конкретное изображение y, а скорее в "стиль" домена Y. Вход подается на генератор, который пытается произвести выборку изПосле получения требуемого распределения (другой области) сгенерированное изображение затем отправляется на дискриминатор, который пытается предсказать, является ли выборка из фактического распределения или произведена генератором.Это обычный рабочий процесс GAN.

Если я правильно понимаю, в приведенных вами строках авторы объясняют проблемы, возникающие из-за потери в состязании.Они говорят это снова здесь:

Обучение состязательности теоретически может выучить отображения G и F, которые производят выходные данные, одинаково распределенные как целевые области Y и X соответственно.Однако, имея достаточно большую емкость, сеть может отображать тот же набор входных изображений на любую случайную перестановку изображений в целевой области, где любое из изученных отображений может индуцировать выходное распределение, которое соответствует целевому распределению.Таким образом, одна только состязательная потеря не может гарантировать, что изученная функция может сопоставить отдельный вход x_i с желаемым выходом y_i.

Это одна из причин введения концепции согласованности циклов для получения значимогоотображения, уменьшают пространство возможных функций отображения (можно рассматривать как форму регуляризации).Идея состоит не в том, чтобы создать пару между двумя случайными изображениями, которые уже находятся в наборе данных (набор данных остается непарным), а в том, чтобы убедиться, что если вы отобразите реальное изображение из домена X в домен Y изатем снова вернитесь к исходному изображению.

Согласованность цикла побуждает генераторов избегать ненужных изменений и, следовательно, генерировать изображения, которые имеют структурное сходство с входными данными, а также предотвращает чрезмерные галлюцинации генераторов и коллапс режима.

Надеюсь, это ответит на ваши вопросы.