Планировщик воздушного потока cra sh при запуске DAG с веб-сервера Airflow

Question

Процесс планировщика Airflow завершается сбоем, если мы начинаем включать DAG и Trigger DAG с веб-сервера Airflow.

Версия воздушного потока - ** v1.10.4

Сервер Redis v = 5.0.7

executor = CeleryExecutor

broker_url = 'redis://:password@redis-host:2287/0'
sql_alchemy_conn = postgresql+psycopg2://user:password@host/dbname

result_backend = 'db+postgresql://user:password@host/dbname'

Сбои с сообщением об ошибке ниже.

scheduler_job.py:1325} ERROR - Exception when executing execute_helper
Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/airflow/jobs/scheduler_job.py", line 1323, in _execute
    self._execute_helper()
  File "/usr/lib/python2.7/site-packages/airflow/jobs/scheduler_job.py", line 1412, in _execute_helper
    self.executor.heartbeat()
  File "/usr/lib/python2.7/site-packages/airflow/executors/base_executor.py", line 132, in heartbeat
    self.trigger_tasks(open_slots)
  File "/usr/lib/python2.7/site-packages/airflow/executors/celery_executor.py", line 203, in trigger_tasks
    cached_celery_backend = tasks[0].backend
  File "/usr/lib/python2.7/site-packages/celery/local.py", line 146, in __getattr__
    return getattr(self._get_current_object(), name)
  File "/usr/lib/python2.7/site-packages/celery/app/task.py", line 1037, in backend
    return self.app.backend
  File "/usr/lib/python2.7/site-packages/kombu/utils/objects.py", line 44, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
  File "/usr/lib/python2.7/site-packages/celery/app/base.py", line 1223, in backend
    return self._get_backend()
  File "/usr/lib/python2.7/site-packages/celery/app/base.py", line 940, in _get_backend
    self.loader)
  File "/usr/lib/python2.7/site-packages/celery/app/backends.py", line 74, in by_url
    return by_name(backend, loader), url
  File "/usr/lib/python2.7/site-packages/celery/app/backends.py", line 54, in by_name
    cls = symbol_by_name(backend, aliases)
  File "/usr/lib/python2.7/site-packages/kombu/utils/imports.py", line 57, in symbol_by_name
    module = imp(module_name, package=package, **kwargs)
  File "/usr/lib64/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
ImportError: No module named 'db

Почему происходит сбой планировщика при срабатывании DAG? Я попытался запустить pip install DB, но это не решило проблему.

Answer 1

Вы делали

$ airflow initidb

перед попыткой запустить webserver?
Кроме того, вы, похоже, используете python 2.7, уверены ли вы, что оно совместимо с последней версией airflow вы используете?
Я использовал python 3.5.2 с последней airflow, и она не работала для меня, и поэтому мне пришлось немного понизить версию airflow.

Answer 2

Воздушный поток не совместим с Python версии 2.7. Запустите воздушный поток с python 3.6, затем создайте пользователя БД и предоставьте привилегии, а затем выполните команду " airflow initdb ". Это инициализирует вашу базу данных в потоке воздуха.

Answer 3

Как говорится в ошибке. Вы не должны правильно настроить свою базу данных.