Я наконец обновил Airflow с v1.8 до v1.10.Мы интенсивно используем BashOperator для запуска сценариев, которые выдают много выходных данных (состояние выполнения, действия, отчеты об ошибках), которые появляются в журналах задач, которые сохраняются на S3.
После обновления этого не происходитбольше.Файлы журнала создаются, но выходные данные сценариев не регистрируются.Когда происходит ошибка, регистрируется ошибка воздушного потока;что-то вроде «команды bash не удалось».Сообщения об ошибках, генерируемые скриптом, отсутствуют.
Вывод обрабатывается иначе, чем я не вижу в документах?Есть ли изменение настроек с v1.8 на v1.10, которое я мог пропустить?Или что-то еще, на что я должен обратить внимание?
Вот некоторые из активных настроек ведения журнала:
logging_level = WARN
remote_logging = TRUE
remote_base_log_folder = s3://xxxxxx-import-logs
remote_log_conn_id = xxxxxx_s3_conn
encrypt_s3_logs = False