Метод сканирования Elasticsearch-dsl, возвращающий только 1 запись за раз - PullRequest
Новая
       47

Метод сканирования Elasticsearch-dsl, возвращающий только 1 запись за раз

0 голосов
/ 06 апреля 2020

Я использую библиотеку Elasticsearch-dsl python. У меня более 5 миллионов записей.

Я использую метод сканирования для получения записей. Я задал размер до 10000, но при сканировании всегда возвращается только 1 запись.

Будет ли эта скорость невозможной для моего мото. 1 запись на вызов сканирования ... не понимаю, где я делаю неправильно.

Ниже приведен мой соответствующий код. 

  data =[]

  for hit in s.params(size=1000).scan():

    data.append(hit.to_dict())        
    #print (hit.to_dict())

Также пробовал с кодом ниже. 

  data =[]
  s = s.params(size=10000)

  for hit in s.scan():

    data.append(hit.to_dict())        
    #print (hit.to_dict())

Предположим, у меня есть 100 000 записей. Это входит в l oop, 100k раз. В идеале он должен go в l oop 10 раз, каждый раз выбирая 10 000 записей.

Это неприятно.

...