Я тренирую DCGAN в PyTorch, и примерно после ванны 260 (из 396) время на партию увеличивается с 1,9 секунды до примерно 3,5-18 секунд в течение 120 партий, чтобы затем вернуться к обычным 1,9 секундам.за партию
Все данные находятся в ОЗУ, рабочие из загрузчика данных сохраняют то же использование ЦП и ОЗУ в течение эпох.Но в тех 120 пакетах, где время увеличивается, загрузка графического процессора иногда падает до нуля в течение нескольких секунд (тогда как загрузка ЦП и ОЗУ остается прежней).Что касается внешнего вида, это происходит только в первую эпоху обучения.
Это известная проблема?Какие могут быть причины?