kedro-airflow создает DAG-файлы, которые выдают ошибки - PullRequest
0 голосов
/ 19 июня 2020

Я использую kedro-airflow для создания DAG для воздушного потока, но созданный DAG выдает ошибку (см. Ниже). Это просто тестовый поток - очень простой - и он работает без ошибок с помощью kedro run. Airflow также без проблем запускает другие DAGS.

    /home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/fsspec/implementations/local.py:33: FutureWarning: The default value of auto_mkdir=True has been deprecated and will be changed to auto_mkdir=False by default in a future release.
  FutureWarning,
2020-06-19 15:29:56,812 - airflow.models.dagbag.DagBag - ERROR - Failed to import: /home/ubuntu/airflow/dags/b_dag.py
Traceback (most recent call last):
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/airflow/models/dagbag.py", line 236, in process_file
    m = imp.load_source(mod_name, filepath)
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/imp.py", line 171, in load_source
    module = _load(spec)
  File "<frozen importlib._bootstrap>", line 696, in _load
  File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 728, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/home/ubuntu/airflow/dags/b_dag.py", line 98, in <module>
    runner.run(pipeline, data_catalog)
  File "/home/ubuntu/anaconda3/envs/kedro-environment/lib/python3.7/site-packages/kedro/runner/runner.py", line 97, in run
    if self._is_async:
AttributeError: 'AirflowRunner' object has no attribute '_is_async'

Кто-нибудь знает, почему это происходит?

Спасибо!

  • Плагин Kedro-Airflow используемая версия: 0.2.2
  • Версия с воздушным потоком: 1.10.10
  • Используемая версия Kedro (pip показывает kedro или kedro -V): 0.16.2
  • Python версия использовано (python -V): 3.7.7
  • Операционная система и версия: macOS версии 10.15.5 и Ubuntu 18.04.4 LTS
...