В ElasticSearch ver_6.2.4, насколько большим может быть scroll_size? - PullRequest
0 голосов
/ 11 июля 2019

Я использую update_by_query для обновления целых полей индекса, в будущем это может быть 3000000 строк или даже больше, я прочитал документ об этом параметре и знал, что это 1K по умолчанию, но я не видел никаких документов об этом.

Итак, вопрос в том, * насколько большим может быть scroll_size? * это займет больше памяти, когда оно больше? * если это займет больше памяти, есть ли замены?

Моя функция:

POST /myIndex/myType/_update_by_query?conflicts=proceed&scroll_size=20000
json
{
    "script": {
        "source": "ctx._source['toUserNickname'] = 'test'",
        "lang": "painless"
     },
    "query": {
        "bool": {
            "must": [
                {
                    "match": {
                        "toUserId": "111"
                    }
                }
            ]
        }
    }
}

1 Ответ

0 голосов
/ 11 июля 2019

Максимума нет - есть различные переменные, которые можно настроить, чтобы они не занимали слишком много памяти / времени.

Будет полезно прочитать о "нумерации страниц" - https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-from-size.html

Еще один похожий вопрос: Максимальное время прокрутки для поиска эластичности

Альтернатива: параллельное сканирование - https://hackernoon.com/parallel-scan-scroll-an-elasticsearch-index-db02583d10d1

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...