Выяснить ошибку индексации вasticsearch? - PullRequest
0 голосов
/ 27 февраля 2019

Я использую версию ES 1.x и не могу найти ошибки при индексации какого-либо документа.

Некоторые документы не индексируются, и все, что я видел, это ниже строк в журналах ES.

stop throttling indexing: numMergesInFlight=2, maxNumMerges=3

now throttling indexing: numMergesInFlight=4, maxNumMerges=3

Я быстро пробежался по Google и понял высокий уровень этих ошибок, но хотел бы понять следующее:

  1. Будет ли ES повторять документы, которые были отрегулированы?
  2. есть какой-либо способ узнать документы, которые были ограничены, включив некоторые подробные журналы, и если да, то в каких классах?
  3. Я не вижу никаких сообщений об ошибках, кроме вышеупомянутых INFO журналов.Есть ли способ включить подробное ведение журнала для индексации, который показывает, что именно происходит во время индексации?

Ответы [ 2 ]

0 голосов
/ 07 марта 2019

Сообщения регулирования, которые вы видите в журналах, не являются проблемой.дросселирование происходит в фоновом режиме, чтобы эластичный поиск защищал от взрыва сегментов.см. объяснение здесь: https://www.elastic.co/guide/en/elasticsearch/guide/current/indexing-performance.html#segments-and-merging

Регулирование не сбрасывает сообщения, а только замедляет индексацию, что вызывает обратное давление на индексаторы и внешние очереди.

При неудачной индексации вы должны получитьответ об ошибке для индекса / массового запроса.чтобы понять, в чем проблема, вы должны проверить ответы, которые ES предоставляет на запросы индекса / массовых запросов.Журналы могут не рассказывать полную историю, так как это зависит от конфигурации уровня журнала, которая указана для каждого модуля в ES.

Другой вариант заключается в том, что вы можете индексировать, но журналы не имеют отметки времени, которую выдумаю, что это так.проверьте _cat / indices , чтобы увидеть, увеличивается ли количество документов при индексировании.если количество документов увеличивается, это означает, что проиндексированные документы есть, и вам нужно уточнить результаты поиска.

0 голосов
/ 27 февраля 2019

asticsearch не делает повторных попыток, насколько мне известно, это зависит от клиента (хотя я довольно долго не использовал 1.x) logstash, например, повторяет партии, для которых он получает 503 и 429 именно для этихвиды причин https://github.com/logstash-plugins/logstash-output-elasticsearch/blob/master/lib/logstash/outputs/elasticsearch.rb#L55

...