Есть ли способ запустить скрипт Python асинхронно в Airflow?

Question

Я хочу запустить скрипт Python в потоке воздуха.Чтобы добиться того же, я запускаю скрипт, использующий оператор airflow bash, как показано ниже.

sub_dag = BashOperator(
task_id='execute_dependent_dag',
bash_command='python myscript.py',
dag=dag,
trigger_rule="all_success")

Однако я хочу, чтобы он запускался асинхронно.В настоящее время он ожидает завершения сценария.Я использовал & , а также nohup , чтобы запустить его, но он не работал.

Дайте мне знать, если есть какой-либо другой способ запустить его асинхронно.Заранее спасибо.

Answer 1

• Я полагаю, что расширение BashOperator для удаления wait() вызова может привести к тому, что ошибки будут скрыты без ошибок

• В качестве альтернативы, если python скрипт / код , о котором идет речь, может быть import ed в вашем Airflow проекте , вы можете попробовать сделать то же самое с PythonOperator через multiprocessing (или множеством других способов)

Также, если вы хотите испачкать руки,взгляните на это