Как получить конфигурацию рабочего процесса Google Composer из Cloud Datastore?

Question

Я хочу получить свою конфигурацию DAG из хранилища данных, поэтому в файле, который настраивает рабочие процессы, я пишу следующий импорт:

from google.cloud import datastore

Я получил ошибку импорта, поэтому я перешел на вкладку PYPI-пакеты для своего окружения и добавилGoogle облако-хранилищу == 1.7.1.Он обновлялся в течение долгого времени и, наконец, дал мне сообщение об ошибке

Тайм-аут Composer Backend.В настоящий момент выполняются следующие задачи: [stage: TP_DEPLOYMENT_UPDATING response_timestamp {seconds: 1544610512 nanos: 565000000}].

Теперь я не вижу никаких следов в потоке воздуха. Это обсуждение предполагает, что единственным вариантом является создание новой среды и скрытие зависимостей в модулях kubernetes, но как тогда создать DAG изнутри модуля kubernetes?

Answer 1

Оказывается, это вопрос чистой удачи.После создания новой среды композитора я смог успешно добавить зависимость google-cloud-datastore == 1.7.1.

Это заняло безумное количество времени, но сработало.

Кроме того, чтобы преодолеть ошибку «Этот DAG-объект недоступен в объекте DagBag веб-сервера», я использовал обходной путь, описанный в этот ответ .