Как использовать Cloud Composer для планирования ноутбуков Jupyter на виртуальной машине Compute Engine?

Question

У меня есть серия тетрадей, которые я хочу выполнять каждый рабочий день, каждый из которых зависит от предыдущего, и я хотел бы автоматизировать весь этот процесс с помощью Cloud Composer.

I Я знаком с библиотекой Papermill, так что эта часть не проблема. У меня проблемы с тем, как DAG в корзине взаимодействует с экземпляром виртуальной машины в Compute Engine.

Любая помощь приветствуется, спасибо!

Answer 1

Composer позволяет вам взаимодействовать с его виртуальными машинами GCP через оператор python, используя вычислительный Pyhton API .

. сценарий запуска , который использует Papermill для взаимодействия с ноутбуками каждый раз, когда вы запускаете машину (и используйте Composer для планирования, когда они должны быть остановлены или запущены).

Будет ли это работать для вас? Есть ли в вашем сценарии использования что-нибудь, что сделало бы этот вариант невозможным?