Я обучаю нейронную сеть для Neural Machine Traslation в Google Colab Laboratory. Я знаю, что предел до отключения составляет 12 часов, но я часто отключаюсь раньше (4 или 6 часов). Время, необходимое для обучения, составляет более 12 часов, поэтому я добавляю некоторые сбережения каждые 5000 эпох.
Я не понимаю, если при отключении от среды выполнения (используется графический процессор) код все еще выполняется Google на виртуальной машине? Я спрашиваю об этом, потому что могу легко сохранить промежуточные модели на диске и так продолжайте поезд, даже если я отключен.
Кто-нибудь знает это?