Воздушный поток - как отправить журналы задач в эластичный поиск? - PullRequest
Новая
       9

Воздушный поток - как отправить журналы задач в эластичный поиск?

0 голосов
/ 16 мая 2018

Как мне настроить или отправить журналы задач из airflow 1.9 в Elastic search? Я нашел шаблоны конфигурации в текущем репозитории git, но не уверен, что это можно сделать в v 1.9

1 Ответ

0 голосов
/ 17 мая 2018

Насколько я понимаю ваш вопрос, вы спрашиваете, можно ли просто настроить Airflow для отправки его логов напрямую в Elastic.

Ссылка

Этоэто - по крайней мере для v.1.9.0 - нет тривиальной проблемы конфигурации.Несмотря на то, что в файле конфигурации сказано, что вы можете записывать данные в Elastic, я не смог найти

1) способ установить правильное соединение ElasticSearch

2) любой код в Airflowрепозиторий, использующий эти настройки для отправки журналов в веб-интерфейс или ElasticSearch

Мне кажется, что это будет новая функция в будущем, для справки см. это: https://issues.apache.org/jira/browse/AIRFLOW-1454

Заключение

Таким образом, текущий стандартный способ сделать это состоит в том, чтобы записывать журналы Airflow в определенную папку, обычно настраиваемую так в airflow.cfg: 

base_log_folder = {AIRFLOW_HOME}/logs

Тогдаиспользуйте стандартную настройку, например, FileBeat для отправки этих журналов, в зависимости от ваших настроек, прямо в Elastic или в Logstash.

...