Я пытаюсь выполнить экспорт документов из эластичного поиска с помощью API разбивки на страницы или прокрутки.
Моя проблема заключается в том, что я хочу экспортировать документы через некоторый интервал, скажем, через 2 минуты.
Экспорт документов, подождите 2 минуты и экспортируйте следующий пакет, снова подождите 2 минуты и так далее.
Я знаю, что могу использовать scrollId, а также разбивать страницы на отсортированные документы. В нумерации страниц у меня есть ограничение page + size = 10.000, поэтому я не хочу использовать из-за ограничений.
Итак, я хочу продолжить с API прокрутки, но у меня есть еще одна проблема. Это должно быть отменено. После экспорта некоторых документов я хочу отменить свою экспортную работу и подождать 5-6 часов, скажем, или завтра я хочу снова начать экспорт. Я знаю, что мое соединение закрыто, и я не знаю ограничения времени прокрутки. Если я в состоянии это сделать, является ли открытие соединения хорошей идеей для работы с состоянием? Я думаю, что это не так. У меня вопрос, могу ли я использовать scrollId после завтра, например?
Вопрос 2: После исследования у меня есть поиск по запросу (https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html#request -body-search-search-after ). Могу ли я использовать это для сохранения в БД и продолжить через x часов после.
Спасибо !!