Мне нужно запустить следующую метку -
dag = DAG('dummy_for_testing',
default_args=default_args,schedule_interval=None)
t1 = BashOperator(
task_id='print_date',
bash_command='date',
dag=dag)
t2 = BashOperator(
task_id='print_host',
bash_command='hostname',
queue='druid_queue',
dag=dag)
t3 = BashOperator(
task_id='print_directory',
bash_command='pwd',
dag=dag)
t3.set_upstream(t2)
t2.set_upstream(t1)
где t1 и t3 работают на сервере A, а t2 - на сервере B (queue = druid_queue). В настоящее время я использую puckel / docker-airflow для настройки воздушного потока.
Следующие службы в настоящее время работают на машинах.
Сервер A
Redis
Postgres
веб сервер
цветок
планировщик
рабочий
Сервер B
Redis
Postgres
веб сервер
цветок
планировщик
рабочий
Мой вопрос заключается в том, действительно ли все эти службы работают на обоих серверах. Также я убедился, что broker_url и result_backend одинаковы для обеих машин. Любая другая конфигурация, необходимая для этого, чтобы работать.