Есть ли способ продолжить работу с последней точки выключения при использовании ноутбука Jupyter?

Question

Я изучаю науку о данных и использую Jupyter Notebook для выполнения этой работы.Я уже проделал большую работу по предварительной обработке данных и обучению.Но я понимаю, что каждый раз, когда я выключаю ноутбук и хочу продолжить работу на следующий день, мне нужно запустить все камеры.От первого к камере я остановился в прошлый раз.Это напрасно тратит мое время, потому что требуется много времени, чтобы снова запустить все камеры.Я считаю, что должен быть лучший путь к этому.Поскольку я загружаю данные, обрабатываю их и подгоняю модель машинного обучения, начинать каждый раз не имеет смысла.Однако я не нашел ответа.Кто-нибудь может дать мне знать, как это сделать?

Я только что слышал о Dill, он сохраняет переменные, сохраняет ли модель ML, и при повторном открытии Jupyter это точно так же, как когда вы его выключаете?

Answer 1

Нет способа сохранить состояние всей записной книжки Jupyter.Все переменные хранятся в памяти.Таким образом, когда вы выключаете ноутбук, все потеряно.

Что вы можете сделать, это явно сохранить промежуточные шаги:

• Для обработки данных используйте pd.write_csv(df), как только вы получитеокончательный набор данных, так что вам не нужно предварительно обрабатывать данные.Открывая записную книжку, убедитесь, что файл существует, и загрузите его в новый фрейм данных, если он есть.
• После обучения модели сохраните ее с помощью библиотеки pickle (проверьте первый комментарий в исходном вопросе).И загрузите обученную модель при открытии ноутбука.

Если вы это сделаете, вам не придется повторно запускать все тяжелые задачи каждый раз, когда вы выключаете и снова открываете ноутбук.

Надеюсь, что это помогает, ура!