обновление с 1.9 до 1.10 airflow и теперь я получаю пустые логи в интерфейсе - PullRequest
Новая
       8

обновление с 1.9 до 1.10 airflow и теперь я получаю пустые логи в интерфейсе

0 голосов
/ 10 сентября 2018

Я недавно обновил воздушный поток 1.9 до 1.10 и выполнил следующие команды:

  • воздушный поток улучшен
  • изменил все мои имена конфигурации сельдерея, упомянутые здесь
  • экспорт SLUGIFY_USES_TEXT_UNIDECODE = да
  • добавлено: log_filename_template = {{ti.dag_id}} / {{ti.task_id}} / {{execute_date.strftime ("%% Y - %% m - %% dT %% H: %% M:% % S ")}} / {{try_number}}. Войдите в мою конфигурацию

Кажется, что задания выполняются нормально, но когда я нажимаю, журналы не отображаются в узлах задач DAG.

enter image description here

Я открыл вкладку сети и запрос на следующий URL возвращает этот JSON

$ AIRFLOW_URL / ariflow / get_logs_with_metadata? Dag_id = хххх & TASK_ID = ххххх & execution_date = 2018-09-09T23% 3A03% 3A10.585986% 2B00% 3A00 & try_number = 1 & метаданные = нуль 

{"error":true,"message":["Task log handler file.task does not support read logs.\n'NoneType' object has no attribute 'read'\n"],"metadata":{"end_of_log":true}}

Кроме того, есть 404 запроса на получение js / form-1.0.0.js. Какой-нибудь совет по дополнительным шагам, чтобы переработать журналы?

Я могу подтвердить, что журналы отображаются в каталоге журналов для задач на сервере воздушного потока.

1 Ответ

0 голосов
/ 10 сентября 2018

Использование https://github.com/apache/incubator-airflow/blob/master/airflow/config_templates/default_airflow.cfg

у меня ранее было 

task_log_reader = file.task

и изменил его на: 

task_log_reader = task

Также я добавил: 

log_filename_template = {{ ti.dag_id }}}}/{{ ti.task_id }}/{{ ts }}}}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log
...