Я пробую разные настройки гиперпараметра, такие как изменение количества эпох и использование правила обновления двух временных шкал (разные скорости обучения для дискриминатора (D_lr) и генератора (G_lr)). Paper Link
Я новичок в GAN, проходил онлайн-уроки, провел несколько испытаний и сгенерировал несколько графиков для одного и того же
Участок 1 - Пробежка для 500 эпох (одинаковая скорость обучения 0,0002 для обоих G и D)
График 2 - Ран для 100 эпох с D_lr = 0,0002 и G_lr = 0,002
D_lr">
График 3 - Ран для 100 эпох с D_lr = 0,002 и G_lr = 0,0002
G_lr">
График 4 - Пробежал 200 эпох с D_lr = 0,0002 и G_lr = 0,002
D_lr">
Я немного смущен тем, что передают эти графики.
График 1 и график 3, похоже, указывают на сходные результаты, хотя TTUR не был применен к графику 1.
График 2 и график 4, похоже, указывает на сходные начальные тренды, но на графике 4 около 3500 итераций потери G и D, по-видимому, расходятся.
В чем может быть причина такого поведения?