Непрерывные всплески времени запроса и латентности поиска в Elasticsearch

Question

Мы заметили непрерывные пики с интервалом 1 мин в обоих RequestTime и SearchLatency графиках для упругого поиска.

Связанные пики также наблюдаются для Latency во всех узлах данных ES.Мы используем ElasticSearch v5.6.3 и Kibana v6.1.3.

Вот графики, полученные из kibana:

• Время запроса для индекса:
• Задержка поиска для индекса:
• Задержка на узле ES: Мы изучаем внутренние операции, выполняемые ESНапример, слияние сегментов и т. д. от 2-3 дней.Кроме того, не было никаких последних изменений, которые могли бы повлиять на ES.

Эти всплески влияют на время ответа нашего приложения на поиск.

Любые мысли / предложения приветствуются?

Answer 1

После непрерывного расследования я нашел вероятную причину для таких всплесков.Эти всплески были связаны с фоновыми задачами, выполняемыми эластичным поиском для внутреннего управления индексами.

Наша команда недавно добавила nested field в документ со свойством include_in_parent, установленным в значение true.Это свойство помогает индексировать внутренние / вложенные объекты как вложенное поле, а также уплощенное поле.

При тестировании возможных исправлений после удаления вложенного поля мы не заметили пиков.Позже мы добавили те же поля, что и в «сглаженном» поле, которое работало нормально.

Примечание : мы могли бы решить это раньше.Но мы не были уверены, были ли эти пики до добавления вложенного поля.Это связано с тем, что

Кибана хранит информацию мониторинга только за последнюю 1 неделю

, и не более того.