Конфигурация из эластичного бревна - PullRequest
Новая
       7

Конфигурация из эластичного бревна

0 голосов
/ 19 февраля 2019

У меня возникли некоторые проблемы при настройке регистрации Elastic в Apache Airflow.Начиная с версии 1.10 в конфигурацию было добавлено ведение журнала Elastic.

При просмотре файла airflow.cfg у нас есть два раздела, связанных с Elastic: 

# Airflow can store logs remotely in AWS S3, Google Cloud Storage or Elastic Search.
# Users must supply an Airflow connection id that provides access to the storage
# location. If remote_logging is set to true, see UPDATING.md for additional
# configuration requirements.
remote_logging = True
remote_log_conn_id =
remote_base_log_folder =
encrypt_s3_logs = False

[elasticsearch]
elasticsearch_host = xxx.xxx.xxx.xxx
elasticsearch_log_id_template = {dag_id}-{task_id}-{execution_date}-{try_number}
elasticsearch_end_of_log_mark = end_of_log


Теперь я не совсем уверен, как это настроить.При просмотре файла airflow_local_settings.py мы можем увидеть следующие фрагменты кода: 

if REMOTE_LOGGING and REMOTE_BASE_LOG_FOLDER.startswith('s3://'):
        DEFAULT_LOGGING_CONFIG['handlers'].update(REMOTE_HANDLERS['s3'])
elif REMOTE_LOGGING and REMOTE_BASE_LOG_FOLDER.startswith('gs://'):
        DEFAULT_LOGGING_CONFIG['handlers'].update(REMOTE_HANDLERS['gcs'])
elif REMOTE_LOGGING and REMOTE_BASE_LOG_FOLDER.startswith('wasb'):
        DEFAULT_LOGGING_CONFIG['handlers'].update(REMOTE_HANDLERS['wasb'])
elif REMOTE_LOGGING and ELASTICSEARCH_HOST:
        DEFAULT_LOGGING_CONFIG['handlers'].update(REMOTE_HANDLERS['elasticsearch'])

Логично говоря, если я установлю для удаленной регистрации значение True и поместим host / ip эластика в раздел эластичных элементов,Работа.На данный момент журналы не генерируются из экземпляра воздушного потока.

1 Ответ

0 голосов
/ 20 февраля 2019

В соответствии с Airflow ElasticsearchTaskHandler doc 

    ElasticsearchTaskHandler is a python log handler that
    reads logs from Elasticsearch. Note logs are not directly
    indexed into Elasticsearch. Instead, it flushes logs
    into local files. Additional software setup is required
    to index the log into Elasticsearch, such as using
    Filebeat and Logstash.

К сожалению, этот обработчик журнала не сбрасывает журналы непосредственно в ES.

...