Можно ли связать локальное тестовое окружение docker-airflow с существующим Airflow на GCP?

Question

Я только что настроил поток воздуха на локальном, инкапсулирован в док-контейнер.

Мне было интересно, можно ли связать эту локальную среду Airflow с реальной службой Airflow / Composer на GCP?

Есть ли способ сделать это с помощью док-контейнеров?

Спасибо

Answer 1

Cloud Composer запускает собственный экземпляр Airflow, поэтому вы не можете настроить среду Composer, которая управляет экземпляром Airflow, работающим на вашей собственной машине.Однако, если вы запускаете свой собственный кластер Kubernetes и настраиваете сеть между вашими собственными машинами и кластером GKE среды Composer, тогда вы можете запускать задачи Airflow в своем локальном кластере.