Предел прокрутки ElasticSearch (python) - PullRequest
0 голосов
/ 17 января 2020

Я работаю с огромной (5 миллионов документов) базой данных ElasticSearch, и мне нужно получить данные, используя слайс с прокруткой в ​​python. Вопрос: если есть какой-то способ ограничить (установить size параметр) нарезанный свиток? Я попытался установить size param с помощью [search obj].param(size=500000) или [:500000], но, похоже, это не сработало - нарезанная прокрутка дает мне все документы.

В моем сценарии я использую нарезанную прокрутку с python многопроцессорность, как здесь: https://github.com/elastic/elasticsearch-dsl-py/issues/817

Есть ли какой-нибудь способ получить, например, 500000 документов, используя нарезанную прокрутку?

Заранее спасибо.

1 Ответ

0 голосов
/ 21 января 2020

Ответ от github:

"Нет ограничений на прокрутку, она всегда возвращает все документы. Чтобы получить только подмножество, просто прекратите использовать итератор после того, как вы получите число, которое вы хотите получить с помощью перерыва заявление или подобное. "

https://github.com/elastic/elasticsearch-dsl-py/issues/817

...