Я убил задачу Airflow, но его подпроцесс, созданный его BashOperator, не был убит - PullRequest
Новая
       4

Я убил задачу Airflow, но его подпроцесс, созданный его BashOperator, не был убит

1 голос
/ 18 апреля 2019

У My Airflow есть задача, которая использует BashOperator для запуска скрипта pySpark на нашем сервере. Я убиваю задачу Airflow из пользовательского интерфейса, и сама задача может быть убита. Но его подпроцесс, созданный его BashOperator, не был уничтожен и все еще работает на нашем сервере.

Я думаю, что может быть проблема в том, что какой-то сигнал типа «Стоп» неправильно передается из моей задачи Airflow в процесс pySpark. 

`BashOperator(
    task_id=task_name,
    bash_command=bash_command,
    env={
        'PATH': '{{ PATH }}',
        'PYSPARK_PYTHON': '{{ PYSPARK_PYTHON_PATH }}',
        'PYTHONPATH': '{{ HOME }}/python-lib'
    },
    dag=dag
)`

Не могли бы вы помочь мне найти решение этой проблемы?

...