где Airflow 1.10.1 хранит журналы для трех своих служб, а именно веб-сервера, планировщика и рабочего

Question

Недавно мы обновили Airflow до версии 1.10.1 с версии 1.8, и мы заметили, что службы Airflow больше не пишут журналы в / var / log / airflow

мы используем пользовательские команды для запуска служб airflow и даже эти командыне записывать в файлы журнала, указанные в командах: -

nohup планировщик воздушного потока -sd / usr / airflow / DAGS --stdout / dev / null --stderr scheduler_error.log> / dev / null 2> nohup_error.log &

веб-сервер воздушного потока nohup -p 8080 --stdout / dev / null --stderr /usr/airflow/airflow_webserver_error.log --error_logfile -> / dev / null 2> / usr / airflowФайлы /nohup_airflow_webserver.log &

scheduler_error.log и airflow_webserver_error.log остаются пустыми.

Не нарушен ли механизм регистрации службы в потоке воздуха?

Благодарим Вас за помощь.

Answer 1

Примечание: на самом деле это не ответ, а просто отчет о моем ограниченном опыте с Airflow

---

Недавно меня тоже мучила тайнавокруг входа в систему Airflow (v1.10.2).Исходя из моего опыта использования (LocalExecutor), вот что я знаю (, пожалуйста, исправьте меня, если я не прав )

• Журналы веб-сервера : Я никогда не находил ни одного каталога / файла с явным названием "webserver_logs" (или что-то подобное).Конечно, вы получаете что-то в (Linux) shell при вызове команды airflow webserver.Тем не менее, поскольку анализ DAG в настоящее время выполняется с помощью webserver процесса (извлечение этого потока и AIP-12 ), эти журналы можно найти по адресу base_log_folder/scheduler/date/path/to/your_file.py.log (сюрприз, он в папке "scheduler").Как уже указывалось @ Chirrut Imwe base_log_folder указывает на AIRFLOW_HOME/logs по умолчанию

• Планировщик журналов : Я не знаю их местонахождение, за исключением строк, которые я вижу на оболочке, когда я запускаю ее, используя команду airflow scheduler

• Журналы задач : Они расположены по адресуbase_log_folder/dag_id/task_id/date_time/1.log.Конечно, вы непосредственно видите их в веб-интерфейсе с помощью кнопки View Log (после нажатия на task bubble )

• Рабочие журналы : Так как я на LocalExecutor, так никогда с этим не сталкивался.Но вы можете попытаться получить подсказки от puckel/docker-airflow, где у них есть положение для CeleryExecutor тоже

---

UPDATING.md страница содержит значительное количество материалов для регистрации

Answer 2

Вы проверили $ AIRFLOW_HOME / logs /?