Воздушный поток 1.9 над многословным каротажем - PullRequest
0 голосов
/ 18 мая 2018

После обновления с версии 1.7.1.3 я заметил больше подробных сообщений журнала в задачах Airflow.Чтобы быть более точным, мое текущее выходное сообщение airflow 1.9 имеет следующий формат при выполнении задачи bash bash operator:

[2018-05-17 16:43:08,104] {base_task_runner.py:98} INFO - Subtask: [2018-05-17 16:43:08,104] {bash_operator.py:101} INFO - <SCRIPT LOGS HERE> В то время как на 1.7.1.3 сообщения имели следующий формат: [2018-05-17 16:10:02,615] {bash_operator.py:77} INFO - <SCRIPT LOGS HERE>

Можно ли вернуться к предыдущему уровню сведений о журнале (из v. 1.7.1.3) в потоке воздуха 1.9, т. Е. Не отображать base_task_runner журналов в конфигурации?

Я пытался изменить формат журнала вairflow.cfg

# Logging class
# Specify the class that will specify the logging configuration
# This class has to be on the python classpath
# logging_config_class = my.path.default_local_settings.LOGGING_CONFIG
logging_config_class =

# Log format
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
simple_log_format = %%(asctime)s %%(levelname)s - %%(message)s

именно я пытался изменить удалить asctime из log_format, но это убирало временные метки как с base_task_runner, так и с bash_operator.Может быть simple_log_format может решить это?В чем разница между log_format и simple_log_format переменными?

Я также не настроил класс конфигурации логов.У меня сложилось впечатление, что в основном он использовался для удаленной загрузки журналов. Нужно ли мне это, если я храню свои журналы локально?

Спасибо

1 Ответ

0 голосов
/ 18 мая 2018

Я думаю, что это невозможно, потому что некоторые структуры вызовов менялись между версиями, если я не ошибаюсь.

Вызовы задач всегда будут подзадачей.Поскольку это означает другую иерархию, на структуру журнала также влияют.

...