ИНФОРМАЦИЯ о задаче воздушного потока - задача завершена с кодом возврата -9

Question

Я использую большой pandas фрейм данных, и пока задача выполняется в течение 30-40 минут. посреди тяжелых вычислений я получил это сообщение: -

-bash-4.2$ tail -f  /home/app/airflow/logs/report_dag_for_new_metrics/first_pass_yield_metrics/2020-05-21T15\:41\:46.689070+00\:00/2.log 
[2020-05-26 05:05:17,427] {logging_mixin.py:95} INFO - sort columns in data frame for merge ['product_id', 'type', 'created_date']
[2020-05-26 05:05:24,153] {logging_mixin.py:95} INFO -        product_id type              created_date
0  00000346333824    I                2020-04-17
1  00000346333824    U  2020-04-25T21:53:58.551Z
2  00000346333824    U  2020-04-25T22:07:03.581Z
3  00000346333824    U  2020-05-20T04:32:16.581Z
4  00000346357646    I                2020-04-17
[2020-05-26 05:05:24,173] {logging_mixin.py:95} INFO - (58582, 1206)
[2020-05-26 05:05:24,194] {logging_mixin.py:95} INFO - 23618
[2020-05-26 05:17:17,260] {logging_mixin.py:95} INFO - [2020-05-26 05:17:17,259] {local_task_job.py:105} INFO - Task exited with return code -9

любая помощь, сообщество воздушного потока также мало говорит о коде 9. видел проблемы, связанные с кодом 6.

Answer 1

-9 указывает , что система завершила процесс, скорее всего, потому что DataFrame потреблял слишком много памяти. Лучший совет - переписать сценарий, чтобы использовать меньше памяти или увеличить масштаб машины, на которой работает Airflow (если возможно).