Как мне прочитать файл в корзине композитора воздушного потока? - PullRequest
0 голосов
/ 24 мая 2018

Чтобы отделить запросы BigQuery от фактического кода, я хочу сохранить SQL в отдельный файл, а затем прочитать его из кода Python.Я попытался добавить файл в ту же корзину, что и группы доступности баз данных, а также в подпапку, но кажется, что я не могу прочитать файл, когда он запускает мой сценарий python с файлами sql в режиме воздушного потока.

То, что я хочу, это:

gs://my-bucket/dags -> store dags
gs://my-bucket/dags/sql -> store sql files

Файлы sql могут быть файлами, которые мне нужно сначала прочитать, чтобы внедрить вещи, которые не поддерживаются шаблонами jinja.

Могу ли я сделатьвыше

1 Ответ

0 голосов
/ 24 мая 2018

Cloud Composer монтирует корзину GCS с помощью драйвера FUSE от gs://my-bucket до /home/airflow/gcs/.Это означает, что папка gs://my-bucket/dags доступна в планировщике, веб-сервере и рабочих по адресу /home/airflow/gcs/dags.

Ваши группы обеспечения доступности баз данных должны иметь возможность читать файлы SQL из каталога /home/airflow/gcs/dags/sql.

Примечание: каталог /home/airflow/gcs/data доступен для рабочих, но не для веб-сервера.

...