Я тренирую модель LSTM, которая обычно выходит на плато и не может полностью сходиться (примерно каждый десятый сходится при начальном запуске). Однако, если я загружаю предварительно обученную модель, всегда сразу происходит огромное улучшение обучения, даже без корректировки скорости обучения. Чем это вызвано? Как так получилось, что производительность значительно улучшилась, даже если при первом запуске алгоритм застрял на плато более 60 эпох? Я использовал оптимизатор Adam со скоростью обучения по умолчанию.
функция потерь для начального обучения 1
функция потерь после загрузки модели 2