Я пытаюсь использовать lib requests с параметрами прокси и параллельно с multiprocessing
Я использую следующий код
proxies = {"http": "port",
"https": "port",
"http": "port"}
p = Pool(processes=16)
for _ in tqdm(p.imap_unordered(do_request, links), total=len(links)):
pass
, где func do_request содержит
r = requests.get(link, proxies=proxies)
Иногда в начале использования функции появляется ошибка
requests.exceptions.proxyerror: none: max retries exceeded with url
Но если я использую только один прокси в dict, я получу эту ошибку позже.
Я пытаюсьпонять, как работает словарь с прокси.Они используются по очереди?Или это какой-то другой алгоритм?
Как мне избежать этой ошибки?Есть ли способ использовать разные прокси для каждого процесса в Pool?