Переменные Google Cloud Composer не распространяются на Airflow

Question

Я пытаюсь запустить пример в документации Google Cloud Composer и я нахожу проблемы, в основном две:

• переменных среды, когда они создаются с помощьюКомандная строка gcloud или веб-интерфейс не распространяются на слой Airflow, что приводит к сбою работы DAG с сообщением «Переменная gcs_bucket не существует».Если я добавлю переменные из интерфейса Airflow, он будет работать.

• DAG выполняется правильно, но ни на одном этапе я не вижу группу ссылок, которую можно было бы увидеть в Airflow (Tree,График, ...).Даже после успешного завершения выполнения.

Я проверил, что учетные записи служб (созданные по умолчанию в среде) имеют разрешения на редактирование и обновление переменных (роль редактора), а также на доступ через API.

Я обнаружил, что документация не очень актуальна, и, например, для создания переменной мне нужно использовать:

gcloud composer environments update test-environment \ 
--location=us-central1 \
--update-env-variables=gcs_bucket=gs://airflow2

вместо того, что говорится в статье.

Что еще я должен проверить?Что еще изменилось с тех пор, как был написан документ?

РЕДАКТИРОВАТЬ: была описана связанная с этим проблема здесь , которая, кажется, решает вторую проблему.

РЕДАКТИРОВАТЬ: Интересно, что еслиЯ запускаю эту бесплатную lab , второй проблемы не бывает.Первый все еще делает.Я сравниваю роли в одной и другой ролях, начиная с не связанных с проектом композитора, созданным автоматически.И не существует служебной учетной записи, созданной в формате альтернативного решения.

Буду признателен за любую помощь, которую может оказать любой.

Answer 1

После урока шаг за шагом не получилось, и это заставило меня попробовать другие вещи.В этой альтернативе тестирования я допустил ошибку, путая переменные Composer с переменными Airflow, и именно так я сформулировал проблему.Основная проблема заключалась в том, что учебные шаги не увенчались успехом из-за некоторого сбоя во время настройки среды.Очевидно, что в этом инструменте есть ограничения, особенно если вы находитесь в Австралии, как в моем случае, например, те, которые размещены здесь или здесь .

Answer 2

У вас есть роль 'composer.worker', назначенная вашей учетной записи службы?Со мной эти значки появляются в пользовательском интерфейсе.

Одно очень важное примечание 'environment_variables' не совпадает с переменной в потоке воздуха.Таким образом, обновление переменной среды не будет работать, хотя вы можете использовать переменную среды вместо переменных воздушного потока.Переменные воздушного потока действительно могут быть назначены через пользовательский интерфейс.