Воздушный поток 1.10: неверный путь к лог-файлу

Question

После обновления до Airflow 1.10 я больше не могу читать журналы через веб-сервер. Однако Airflow правильно создает журналы и сохраняет их на диск.

Из подробностей экземпляра задачи видно, что перечисленное log_filepath неверно. В соответствии с подробностями экземпляра задачи, log_filepath это, например: /home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47.296212+00:00.log Но правильный путь к файлу /home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47/1.log

Есть ли способ изменить log_filepath? В конфиге я смог найти только: log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ execution_date.strftime("%%Y-%%m-%%dT%%H:%%M") }}/{{ try_number }}.log, что представляется правильным.

Answer 1

Да, есть способ изменить log_filepath, ключ конфигурации - base_log_folder.Но ваш путь к файлу указан правильно, проверьте файл конфигурации и установите task_log_reader на task.В Airflow 1.9 это значение равно file.task.

Например:

# Log format
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
simple_log_format = %%(asctime)s %%(levelname)s - %%(message)s
log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log
task_log_reader = task

Для подтверждения конфигурации имеется Запрос извлечения .

Подробнее Журналы записи воздушного потока