Ошибка при индексации документа в кластере эластичного поиска - PullRequest
2 голосов
/ 24 мая 2019

Я не использую запрос BulkIndex в своем коде.

Ниже приведен код Jest, используемый для индексации документа.

Builder builder = new Index.Builder(source).index(indexName).type(typeName)
                .id(optionalDocId == null ? UUID.randomUUID().toString() : optionalDocId);

тип источника - Карта

Caused by: java.lang.Exception: ES Error Message while writing to raw: {"root_cause":[{"type":"remote_transport_exception","reason":"[datanodes-364022667-13-482069107.azure-ebf.opsds.cp.prod-az-westus-1.prod.us.walmart.net][10.12.10.171:9300][indices:data/write/bulk[s]]"}],"type":"es_rejected_execution_exception","reason":"rejected execution of processing of [557850852][indices:data/write/bulk[s][p]]: request: BulkShardRequest [[sceventstorev1][15]] containing [index {[SCEventStore][scevents][93adca0b-7404-4405-8f72-9fa5e32a167c], source[n/a, actual length: [2.1kb], max length: 2kb]}], target allocation id: iTbBHe7vT_ihTHdJwqVRhA, primary term: 7 on EsThreadPoolExecutor[name = datanodes-364022667-13-482069107.azure-ebf.opsds.cp.prod-az-westus-1.prod.us.walmart.net/write, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@4d2bc57e[Running, pool size = 8, active threads = 8, queued tasks = 200, completed tasks = 148755948]]"}

Дано отображение индекса.

{
  "sceventstore_v1": {
    "mappings": {
      "scevents": {
        "properties": {
          "eventID": {
            "type": "keyword"
          },
          "eventId": {
            "type": "keyword"
          },
          "eventName": {
            "type": "keyword"
          },
          "message": {
            "type": "text"
          },
          "producerName": {
            "type": "keyword"
          },
          "receivedTimestamp": {
            "type": "date",
            "format": "epoch_millis"
          },
          "timestamp": {
            "type": "date",
            "format": "epoch_millis"
          }
        }
      }
    }
  }
}```

1 Ответ

3 голосов
/ 24 мая 2019

Раздел сообщения об ошибке ясно объясняет причину этого.

source[n/a, actual length: [2.1kb], max length: 2kb]}], это означает, что максимально допустимая длина составляет 2 КБ, где-то настроено в вашем приложении, и вы отправляете больше, чем 2,1 КБ.

Попробуйте проверить документ и посмотреть, какое значение поля пересекает этот предел.

Больше ресурсов можно найти https://www.elastic.co/blog/why-am-i-seeing-bulk-rejections-in-my-elasticsearch-cluster и https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...