Elasticsearch Search Scroll API не получает все документы из индекса - PullRequest
Новая
       67

Elasticsearch Search Scroll API не получает все документы из индекса

1 голос
/ 25 марта 2020

Я хотел бы получить все документы из Elasticsearch, поэтому я сослался на Search Scroll API .

Но мой вопрос, он не возвращает все документы, у меня есть 36 документов в одном индексе, для которого он возвращал только 26.

Даже когда я проверил с другим индексом, где у меня более 10 тыс. Документов, он также не возвращает последние 10 документов.

Я действительно не знаю, почему это так возвращалось! Любая помощь будет оценена! Заранее спасибо!

Ниже кода, который я пробовал: 

final Scroll scroll = new Scroll(TimeValue.timeValueMinutes(1L));
SearchRequest searchRequest = new SearchRequest("myindex");
searchRequest.scroll(scroll);
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query("")//here some query;
searchRequest.source(searchSourceBuilder);

SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); 
String scrollId = searchResponse.getScrollId();
SearchHit[] searchHits = searchResponse.getHits().getHits();

while (searchHits != null && searchHits.length > 0) { 

    SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId); 
    scrollRequest.scroll(scroll);
    searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT);
    scrollId = searchResponse.getScrollId();
    searchHits = searchResponse.getHits().getHits();
for (SearchHits hit: searchHits){
String source=hit.getSourceAsString();
}

ClearScrollRequest clearScrollRequest = new ClearScrollRequest(); 
clearScrollRequest.addScrollId(scrollId);
ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
boolean succeeded = clearScrollResponse.isSucceeded();
...