Сбой работника воздушного потока из-за обновления в комбу - асинхронная ошибка - PullRequest
Новая
       7

Сбой работника воздушного потока из-за обновления в комбу - асинхронная ошибка

0 голосов
/ 22 мая 2018

Развертывание докера Airflow v1.9.0 на основе puckel просто прервалось для меня с этой ошибкой: 

Traceback (most recent call last):
  File "/usr/local/bin/airflow", line 27, in <module>
    args.func(args)
  File "/usr/local/lib/python2.7/dist-packages/airflow/bin/cli.py", line 891, in worker
    worker.run(**options)
  File "/usr/local/lib/python2.7/dist-packages/celery/bin/worker.py", line 255, in run
    **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/worker.py", line 99, in __init__
    self.setup_instance(**self.prepare_args(**kwargs))
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/worker.py", line 122, in setup_instance
    self.should_use_eventloop() if use_eventloop is None
  File "/usr/local/lib/python2.7/dist-packages/celery/worker/worker.py", line 241, in should_use_eventloop
    self._conninfo.transport.implements.async and
  File "/usr/local/lib/python2.7/dist-packages/kombu/transport/base.py", line 125, in __getattr__
    raise AttributeError(key)
AttributeError: async

Ответы [ 2 ]

0 голосов
/ 31 мая 2018

Решение Cobman работает, только к вашему сведению вы можете исправить это, обновив версию Celery (как они рекомендуют в своем хранилище)

&& pip install celery[redis]==4.1.1

0 голосов
/ 22 мая 2018

Это связано с Celery AttributeError: асинхронная ошибка только что сообщена ошибка, когда комбу было обновлено с 4.1.0 до 4.2.0.Я исправил это, изменив порядок установки, как показано ниже: 

&& pip install kombu==4.1.0 \
&& pip install celery[redis]==4.0.2 \
&& pip install apache-airflow[crypto,celery,postgres,hive,jdbc,mysql,s3]==$AIRFLOW_VERSION \

Похоже, Комбу нужно прикрепить к этой версии в исходном коде ...

...