Выполнение ноутбука Jupyter на основе введенных пользователем параметров автоматизации

Question

Я пытаюсь создать службу, которая позволила бы пользователям, использующим ноутбук, устанавливать параметры автоматизации в ячейке, такие как время начала и время начала работы ноутбука. Затем служба будет использовать это время ввода и выполнить записную книжку в нужное время и сохранить выполненную записную книжку на S3. Я посмотрел на papermill, но я считаю, что нет способа добавить параметры автоматизации, такие как время начала выполнения, используя это. Есть ли способы добиться этого? Или есть ли способ, которым бумажная фабрика может достичь этого?

Answer 1

Взгляните на код здесь и здесь для оболочки, которая будет планировать выполнение ноутбука

Сценарии оболочки выше создают виртуальную машину, запускают ноутбук, Сохраняет вывод и уничтожает экземпляр.

В Блокнотах Google Cloud AI Platform мы предоставляем услугу планирования, которая сейчас находится в бета-версии.

Answer 2

Papermill обрабатывает только параметрирование и выполнение записных книжек, а не планирование. Для этого вам нужно использовать другой инструмент. Вы можете создать что-то самостоятельно поверх Apache Airflow, который кажется наиболее распространенным планировщиком для такого случая. Он имеет встроенную поддержку Papermill (см. здесь ). Или вы можете использовать готовый инструмент, такой как Paperboy .

Чтобы узнать подробнее о планировании работы с ноутбуками, взгляните на статью от Netflix.