Использование grequests для загрузки элементов из рабочего списка с максимальным количеством соединений = 10 - PullRequest
Новая
       49

Использование grequests для загрузки элементов из рабочего списка с максимальным количеством соединений = 10

0 голосов
/ 11 февраля 2019

У меня есть код, подобный приведенному ниже, но я хочу, чтобы накопленные запросы постоянно выполнялись или помещались в очередь в порядке их добавления, с ограничением в 10 подключений за раз (остальные находятся в очереди) - в настоящее время неткажется, что-нибудь сделать 

pool = grequests.Pool(10)
for i in range(30):
    url, fp = slowly_prepare_url_and_destination()
    req = grequests.get(url, callback=lambda r, fp=fp: open(fp, 'wb').write(r.content))
    grequests.send(req, pool=pool)  # I want this to start or queue, but not block
...