Как я могу отладить высокую скорость индексации в AWS Elasticsearch, но меньше документов на Kibana? - PullRequest
2 голосов
/ 24 января 2020

У меня установлен кластер Elasticsearch на AWS, который настроен только для просмотра журналов на Kibana. Таким образом, он только берет журналы из envs, которые отправляются с помощью Fluentd. Недавно я заметил, что скорость индексации достигла 10 тыс., Когда журналы на Kibana были не более 1 тыс.

AWS Документы имеют следующее объяснение скорости индексации ( ссылка ):

The number of indexing operations per minute. A single call to the _bulk API 
that adds two documents and updates two counts as four operations, which might 
be spread across  one or more nodes. If that index has one or more replicas, 
other nodes in the cluster also record a total of four indexing operations.
Document deletions do not count towards this metric.

Я хочу отладить, как скорость индексации достигла 10k. Я попытался настроить журналы индекса для кластера ES, но он не генерирует поток журналов в Cloudwatch. Как я могу в этом копаться?

...