Я использую модель Gradient Boosting, на обучение которой уходит около 11 часов. Для этого я использую упреждающий экземпляр в Google Cloud (потому что он намного дешевле). Проблема в том, что я продолжаю терять свой прогресс, потому что экземпляр завершается до того, как модель сможет завершить обучение.
Есть ли способ проверки или сохранения прогресса частично обученной модели на диск? так что обучение должно возобновиться с того места, где оно было остановлено, когда я перезапущу код.
Я знаю, что есть модуль pickle , который позволяет мне выгружать объекты на диск. Но я не собираюсь спасать полностью обученную модель, а частично обученную.