Значения переменных Google Colab теряются после утилизации ВМ

Question

Я использую записную книжку Google Colab Jupyter для обучения алгоритму и борюсь с досадной проблемой. Поскольку Colab работает в среде виртуальных машин, все мои переменные становятся неопределенными, если мой сеанс простаивает в течение нескольких часов. Я возвращаюсь с обеда, и учебный фрейм данных, для загрузки которого требуется некоторое время, становится неопределенным, и мне приходится снова read_csv загружать мои фреймы данных.

Кто-нибудь знает, как это исправить?

Answer 1

• Вы можете использовать локальное время выполнения с Google Colab.При этом ноутбук Colab будет использовать ресурсы вашего компьютера, и у вас не будет никаких ограничений.Подробнее об этом: https://research.google.com/colaboratory/local-runtimes.html
• Существуют различные способы сохранения ваших данных в процессе:
  • вы можете сохранить в файловой системе VM ноутбука, например, pd.to_csv("my_data.csv")
  • вы можете import sqlite3, который является реализацией Python популярной базы данных SQLite.Разница между SQLite и другими базами данных SQL заключается в том, что СУБД работает внутри вашего приложения, а данные сохраняются в файловой системе этого приложения.Информация: https://docs.python.org/2/library/sqlite3.html
  • Вы можете сохранить на свой диск Google, загрузить в локальную файловую систему через браузер, загрузить в GCP ... подробнее здесь: https://colab.research.google.com/notebooks/io.ipynb#scrollTo=eikfzi8ZT_rW

Answer 2

Если ноутбук в течение некоторого времени находится в режиме ожидания , он может быть переработан: «Виртуальные машины перерабатываются в течение некоторого времени бездействия» (см. faq * 1004 лаборатории).жесткое ограничение для работы виртуальной машины (до 12 часов!?).

Что также может произойти, если ваш ноутбук отключится от Интернета / google colab.Это может быть проблемой с вашей сетью.Подробнее об этом здесь или здесь

Нет способов «исправить» это, но если вы обработали некоторые данные, вы можете добавить шаг для их сохранения.в Google Drive, прежде чем войти в состояние idle .