Как обучить и сохранить модель на Google Colab, которая заняла бы несколько дней до окончания sh обучения?

Question

Я тренирую модель на естественном языке в Google Colab, и из текущего прогресса обучения я вижу, что моя модель займет не менее 1-2 дней, чтобы закончить sh обучение. После обучения я также хочу сохранить модель на моем диске Google. Итак, в основном здесь есть проблемы.

(1) Я использую inte rnet моего университета, который выводит меня из системы почти через 90 минут. Итак, я хочу, чтобы моя модель продолжила обучение в облаке, даже после того, как мой Wi-Fi в колледже вышел из системы.

Я посмотрел это видео на YouTube, которое пишет скрипт для периодического нажатия кнопки подключения через некоторое время, но это мне не поможет, так как мой университетский Wi-Fi отключит inte rnet через 90 минут мне придется снова войти в систему, чтобы восстановить соединение.

Я также посмотрел этот аналогичный вопрос по stackoverflow, но я не могу понять, сможет ли это решить мою проблему. Я хочу сохранить свою модель обучения, когда inte rnet нет, а также сохранить мою модель на моем диске Google, как только обучение завершится. Я могу добавить скрипт в свой код для сохранения модели, но как я могу быть уверен, что моя модель постоянно работает в облаке? Этот вопрос выглядит как сохранение сеанса связи после закрытия браузера.

Answer 1

Исходя из моего эксперимента, ваша модельная тренировка будет продолжаться даже тогда, когда ваш inte rnet не работает, но вскоре после того, как вы отключитесь, тренировка остановится. Я думаю, что вы можете сохранять свою модель каждые несколько эпох, чтобы вы могли продолжить обучение с этого момента позже.

А что касается "сохранения сеанса подключенным после закрытия браузера", можно безопасно закрыть браузер, просто заново открыть его, и все по-прежнему там.