Python Requests.get () не работает с многопроцессорным pool.map - PullRequest
Новая
       32

Python Requests.get () не работает с многопроцессорным pool.map

0 голосов
/ 01 марта 2019 
from multiprocessing import Pool
import requests
import time as time
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
def foo(url):
    print('requesting')
    x = requests.get('http://www.facebook.com', timeout = 10, headers = headers)
    time.sleep(1)
    print('requested')
pool = Pool(6)
try:
    dump = pool.map(foo, range(20))
finally:
    pool.terminate()
    pool.join()

Я пытаюсь очистить сайты параллельно, используя pool.map.Приведенный выше код является минимальным примером.Я запустил приведенный выше код в блокноте jupyter, и Requests.get () просто зависает там.

Что я делаю не так?

...