Как продолжить тренировку после ее остановки и изменения некоторых параметров?

Question

Я тренирую свою модель с помощью model.fit () в Керасе. Я прекратил обучение, прервав его или хотя бы потому, что оно сделано, а затем изменил размер batch_size и решил продолжить обучение. Вот что происходит:

Потери, когда обучение было остановлено / закончено = 26

Потери в процессе обучения = 46

Это означает, что я потерял весь свой прогресс, и я начинаю все сначала. Это происходит с того места, где оно осталось, только если я ничего не меняю. Но если я изменил размер пакета, это как если бы оптимизатор повторно инициализировал мой вес и выбросил мой прогресс. Как я могу получить информацию о том, что оптимизатор делает без моего согласия?

Answer 1

Скорее всего, у вас есть несколько примеров, которые дают вам большие значения потерь. MSE делает это хуже. Когда размер партии больше, вы, вероятно, получаете много таких выбросов в вашей партии. Вы можете посмотреть на примеры, способствующие увеличению потерь.