ошибка воздушного потока: AttributeError: у модуля 'airflow.utils.log' нет атрибута 'file_processor_handler'

Question

Мое локальное мгновенное воздушное движение было запущено, но теперь, когда я запускаю веб-сервер воздушного потока или любую другую команду воздушного потока, я получаю следующую ошибку (с некоторым отслеживанием):

  Unable to load the config, contains a configuration error.
  Traceback (most recent call last):
  File "/anaconda3/lib/python3.6/logging/config.py", line 382, in resolve
  found = getattr(found, frag)
  AttributeError: module 'airflow.utils.log' has no attribute 'file_processor_handler'

  During handling of the above exception, another exception occurred:

  Traceback (most recent call last):
  File "/anaconda3/lib/python3.6/logging/config.py", line 384, in resolve
self.importer(used)
   File "/anaconda3/lib/python3.6/site-packages/airflow/utils/log/file_processor_handler.py", line 25, in <module>
from airflow.utils.helpers import parse_template_string
   File "/anaconda3/lib/python3.6/site-packages/airflow/utils/helpers.py", line 25, in <module>
import psutil
 File "/anaconda3/lib/python3.6/site-packages/psutil/__init__.py", line 134, in <module>
 from . import _psosx as _psplatform
  File "/anaconda3/lib/python3.6/site-packages/psutil/_psosx.py", line 14, in <module>
from . import _psutil_osx as cext
  ImportError: dlopen(/anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so, 2): Symbol not found: _kIOMasterPortDefault
  Referenced from: /anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so
  Expected in: flat namespace
 in /anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so

  The above exception was the direct cause of the following exception:

   Traceback (most recent call last):
   File "/anaconda3/lib/python3.6/logging/config.py", line 558, in configure
   handler = self.configure_handler(handlers[name])
 ValueError: Cannot resolve 'airflow.utils.log.file_processor_handler.FileProcessorHandler': dlopen(/anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so, 2): Symbol not found: _kIOMasterPortDefault
  Referenced from: /anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so
  Expected in: flat namespace
 in /anaconda3/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so

   During handling of the above exception, another exception occurred:

  Traceback (most recent call last):
 File "/anaconda3/bin/airflow", line 21, in <module>
from airflow import configuration
  File "/anaconda3/lib/python3.6/site-packages/airflow/__init__.py", line 36, in <module>
from airflow import settings
 File "/anaconda3/lib/python3.6/site-packages/airflow/settings.py", line 259, in <module>
configure_logging()
 File "/anaconda3/lib/python3.6/site-packages/airflow/logging_config.py", line 72, in configure_logging
raise e
 File "/anaconda3/lib/python3.6/site-packages/airflow/logging_config.py", line 67, in configure_logging
dictConfig(logging_config)
 File "/anaconda3/lib/python3.6/logging/config.py", line 795, in dictConfig
dictConfigClass(config).configure()

Я пытался обновить воздушный потокно это не помогло

Answer 1

См. Мой комментарий в этом PR https://github.com/apache/airflow/pull/3585

исправление, по сути, исправления psutil до 4.4.2, так как последняя версия psutil на 5.6.1 в этом контексте для меня не работает на osx

Answer 2

Мне кажется, проблема в том, что в установке pustil есть смесь старых и новых файлов.

Часть сообщения об ошибке «Не удается разрешить» airflow.utils.log.file_processor_handler.FileProcessorHandler »- это просто сообщение Airflow, сообщающее, что при попытке FileProcessorHandler мы получили эту другую ошибку.

Вы должны увидеть точно такую ​​же форму ошибки, которая запускается pyton -c "import psutil", которая полностью удалит воздушный поток из уравнения.

Я думаю, что решение состоит в том, чтобы полностью удалить psutil (если бы не участвовал conda, я бы сказал pip uninstall psutil), а затем переустановить его. Я думаю, что в этом случае я бы попробовал удалить pip и удалить его, как бы вы не устанавливали пакеты conda.

Answer 3

Я только что столкнулся с той же проблемой, что и упомянутый вами.

Я буду сталкиваться с проблемой, даже если я просто импортирую pandas lib.

Причина в том, что у меня есть несколько dag-файлов с именем email.py.который совпадает с внутренним именем библиотеки Python.конфликт приводит к прекращению работы питона.После того, как я переименую email.py в email_test.py.Проблема решена.

Можно обратиться к аналогичному вопросу.Это та же проблема и то же решение. ImportError: невозможно импортировать поток данных DAG

Если вам понравился мой ответ, просьба проголосовать за него.