Как получить все данные Solr, который содержит 40 тыс. Строк в CSV?

Question

import pandas as pd
import pysolr
solrcon = pysolr.Solr('...', timeout=10)
results = solrcon.search('*:*')
docs = pd.DataFrame(results.docs)
docs

Но можно выбрать только 10 строк, или максимальный предел составляет 100 строк. Как получить все строки? Я использую Pysolr версии 3.8.1

Answer 1

Используйте параметр rows:

Вы можете использовать параметр строки , чтобы разбить на страницы результаты запроса. параметр указывает максимальное количество документов из полного результирующий набор, который Solr должен вернуть клиенту за один раз.

Значением по умолчанию является 10. То есть, по умолчанию Solr возвращает 10 документы за один раз в ответ на запрос.

Передача дополнительных параметров в Solr с помощью pysolr, используя также fl для примера (список полей, включаемых в ответ), поскольку вам может потребоваться ограничить этот список, чтобы сохранить приличное время ответа:

results = solrcon.search('*:*', **{
    'rows': 100000,
    'fl': 'id, title, score' 
})