Разрушение Elasticsearch, давая «не удалось выполнить конвейер для массового запроса» - PullRequest
Новая
       13

Разрушение Elasticsearch, давая «не удалось выполнить конвейер для массового запроса»

1 голос
/ 27 января 2020

У меня настроена настройка EFK для агрегирования журналов.

Filebeat используется для сбора журналов из трех кластеров kubernetes. Filbeat напрямую отправляет все логи в ElasticSearch. Я использовал один конвейер приема с некоторыми шаблонами grok и принял его напрямую с помощью вызова API.

Все работало нормально, но недавно мы начали видеть ошибки журнала, такие как - 

On ES:
failed to execute pipeline for a bulk request
org.elasticsearch.common.util.concurrent.EsRejectedExecutionException: rejected execution of org.elasticsearch.ingest.PipelineExecutionService$2@493836b17 on EsThreadPoolExecutor[name = BRkwewr/bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@733wewf2a[Running, pool size = 2, active threads = 2, queued tasks = 200, completed tasks = 7134009]]

On FB:

2020/01/27 05:27:39.980824 client.go:276: ERR Failed to perform any bulk index operations: Post http://ip-address:9200/_bulk: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
2020/01/27 05:27:40.981145 output.go:92: ERR Failed to publish events: Post http://ip-address:9200/_bulk: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
2020/01/27 05:27:40.981749 logger.go:22: INFO retryer: send wait signal to consumer
2020/01/27 05:27:40.981788 logger.go:22: INFO   done

I Я прочитал несколько статей по этой проблеме, и ниже приведены те вещи, которые я уже пробовал.

  • Перезапуск filebeat : Это помогает, но через некоторое время проблема начинается снова.
  • добавление ignore_failure : "истина" в загруженном конвейере, чтобы журналы могли двигаться вперед, не блокируя выполнение.

Параметры настройки:

  • Elasticsearch: Запуск на машине 16 ГБ с JVM 6 ГБ (минимальная и максимальная обе установлены на 6 ГБ)
  • Kibana: на одной машине
  • filebeat: на всех трех кластеры в виде модуля.
  • Каждый день создается новый индекс.
  • Версия ES: "6.2.4"

Прием журнала : в среднем 30 тыс. документов в день из всех трех кластеров c ombined.

Теперь у меня есть следующие открытые проблемы относительно этой проблемы -

  • Должен ли я использовать logsta sh между filebeat иasticsearch?
  • Что это за объем? запрос, количество журналов практически не меняется в течение дня.
...