Как писать журналы воздушного потока в Elasticsearch?

Question

Я использую Airflow 1.10.5. Не могу найти полную документацию или пример того, как настроить удаленное ведение журнала с помощью Elasticsearch. Я видел эту документацию https://airflow.readthedocs.io/en/stable/howto/write-logs.html), но это не помогло. Я пытаюсь записать журналы воздушного потока (не задачи) в ES.

Answer 1

Насколько я понимаю документы, обработчик журнала ES может читать только из ES. Вам нужно будет настроить ведение журнала для печати в файл, а затем использовать что-то вроде filebeat для отправки содержимого файла в ES, и Airflow сможет затем прочитать их обратно ...

https://airflow.readthedocs.io/en/stable/howto/write-logs.html#writing-logs-to-elasticsearch

Запись журналов в Elasticsearch

Воздушный поток можно настроить на чтение журналов задач из Elasticsearch и при желании записывать журналы в стандартный вывод или в формате json. Впоследствии эти журналы могут быть собраны и отправлены в кластер Elasticsearch с помощью таких инструментов, как fluentd, logstash или других.