Первый шаг - создание Jupyter Lab Notebook. Если вы хотите использовать дополнительные библиотеки, установите их и перезапустите ядро (опция Restart Kernel and Clear All Outputs). Затем определите обработку внутри своего Блокнота.
Когда все будет готово, удалите все прогоны, подсмотры и dry прогоны до начала фазы планирования.
Теперь вам нужно настроить Облачная Composer среда (помните об установке дополнительных пакетов, которые вы определили на первом шаге). Чтобы запланировать рабочий процесс, go отправьте в Jupyter Lab и создайте второй блокнот, который генерирует DAG из рабочего процесса.
Последний шаг - выгрузить сжатый рабочий процесс в папку Cloud Composer DAGs. Вы можете управлять своим рабочим процессом с помощью Airflow UI.
Я рекомендую вам взглянуть на эту статью .
Еще одно решение, которое вы можете использовать, - Kubeflow, которое стремится сделать рабочие нагрузки ML на Kubernetes. Kubeflow добавляет некоторые ресурсы в ваш кластер, чтобы помочь с различными задачами, включая обучение и обслуживание моделей и запуск ноутбуков Jupyter. Вы можете найти интересное руководство по кодовым меткам .
Надеюсь, вы найдете приведенные выше сведения полезными.