Как подавить ошибки в выходе воздушного потока? - PullRequest
Новая
       21

Как подавить ошибки в выходе воздушного потока?

0 голосов
/ 12 декабря 2018

Работа над некоторыми идеями мониторинга воздушного потока.Когда я выполняю airflow list_tasks my_dag, я получаю много ненужного мусора вместе с фактическим желаемым выводом: 

[2018-12-11 22:39:00,301] {__init__.py:51} INFO - Using executor SequentialExecutor
[2018-12-11 22:39:00,423] {models.py:271} INFO - Filling up the DagBag from /root/airflow/dags
[2018-12-11 22:39:00,448] {models.py:380} ERROR - Failed to import: /usr/local/lib/python3.7/site-packages/airflow/example_dags/example_http_operator.py
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/airflow/models.py", line 377, in process_file
    m = imp.load_source(mod_name, filepath)
  File "/usr/local/lib/python3.7/imp.py", line 171, in load_source
    module = _load(spec)
  File "<frozen importlib._bootstrap>", line 696, in _load
  File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 728, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/usr/local/lib/python3.7/site-packages/airflow/example_dags/example_http_operator.py", line 27, in <module>
    from airflow.operators.http_operator import SimpleHttpOperator
  File "/usr/local/lib/python3.7/site-packages/airflow/operators/http_operator.py", line 21, in <module>
    from airflow.hooks.http_hook import HttpHook
  File "/usr/local/lib/python3.7/site-packages/airflow/hooks/http_hook.py", line 23, in <module>
    import tenacity
  File "/usr/local/lib/python3.7/site-packages/tenacity/__init__.py", line 352
    from tenacity.async import AsyncRetrying
                      ^
SyntaxError: invalid syntax
also_run_this
run_after_loop
run_this_last
runme_0
runme_1
runme_2

Что мне действительно нужно из всего этого:

также_run_this

run_after_loop

run_this_last

runme_0

runme_1

runme_2

Есть ли способ подавить все, кроме действительногорезультат?

Ответы [ 2 ]

0 голосов
/ 21 декабря 2018

Обновление цепкости до последней версии Хотя при обновлении отображается предупреждение: «apache-airflow 1.10.1 имеет требование цепкости == 4.8.0, но у вас будет цепочка 5.0.2, которая несовместима».Пожалуйста, игнорируйте это

Совместимость: Python 3.7.1 apache-airflow 1.10.1 цепкость 5.0.2

Надеюсь, это поможет!

0 голосов
/ 12 декабря 2018

Вы используете версию Python, которая обрабатывает async как зарезервированное слово.Вы можете либо перейти на версию, где это не так, либо отключить примеры групп доступности базы данных в своей конфигурации.

...