Я тренирую симпатичную ваниль net только с полностью связанными слоями и функциями relu между ними. При обучении net я вижу, что, хотя net улучшается со временем, после нескольких партий он становится постоянной функцией - он возвращает одинаковые выходные данные для каждого входа.
После шага оптимизатора он просто становится другой постоянной функцией (и улучшается для тестовых и обучающих наборов данных). Я не уверен, имеет ли эта проблема какой-то смысл, или у меня есть какая-то ошибка в моем коде (я довольно плохо знаком с глубоким изучением), или, может быть, проблема, которую я пытаюсь решить, слишком сложна для нейронного net (Я считаю, что маловероятно, что net станет постоянным примерно после 2-х партий, размер партии - 32).
Это общая проблема? Есть ли способ это исправить? Может быть, оштрафовав net за возврат одинаковых выходных данных?
Редактировать: я добавил слои нормализации партии в net и похоже, что это решило проблему на данный момент. Тем не менее, интересно узнать, есть ли у кого-то комментарии по этому поводу.