Изменения потерь Кераса в конце эпохи

Question

Я тренирую модель в Керасе (бэкэнд тензорного потока 2), используя класс imagedatagenerator для обучения партиями. Я заметил, что когда начинается вторая эпоха, значение потерь действительно меньше, чем значение в конце первой эпохи.

Вот что я имею в виду:

Потери в керасах

Обратите внимание, что начальное значение во второй эпохе соответствует значению, которое вы видите на скриншоте.

Кто-нибудь знает, почему это происходит?

Обновляет ли keras вес снова после обработки всех пакетов?

Answer 1

Потери, как ожидается, будут меньше, но ваше удивление в той степени, в которой оно понятно,

Причина, по которой вторая эпоха имеет такие меньшие потери, заключается в том, что в течение первой эпохи ваша модель делает ошибки и уступает большие потери - которые становятся все лучше и лучше. Keras отображает средние потери за все случаи в эпоху.

Так что, если модель допустила ошибки в первых 90% обучения в эпоху, а затем была идеальна для последних 10% данных, потери все равно будут очень большими, потому что это означает потерю.

Тогда, в начале 2-й эпохи, модель уже лучше прогнозирует, поэтому означает потеря снизить.