Странная ошибка с модулем пула и красивым супом: неверный URL 'h'

Question

Я собираю очень большой сайт с Beautiful Soup для проекта и хочу использовать модуль Pool для его ускорения. Я получаю странную ошибку, когда он неправильно читает список URL-адресов, насколько я могу судить, он просто получает первый 'h'.

Весь код работает отлично, если я не использую пул. Список URL прочитан правильно. Я не уверен, есть ли что-то странное в том, как вы должны подготовить URL-адреса при вызове p.map(scrapeClauses, links), потому что, если я просто вызываю scrapeClauses(links), все работает.

Вот моя основная функция:

if __name__ == '__main__':    
    links = list()
    og = 'https://www.lawinsider.com'
    halflink = '/clause/limitation-of-liability'
    link = og + halflink
    links.append(link)
    i = 0
    while i < 50:
        try:
            nextLink = generateNextLink(link)        
            links.append(nextLink)
            link = nextLink
            i += 1
        except:
            print('Only ', i, 'links found')
            i = 50
    start_time = time.time()
    print(links[0])
    p = Pool(5)
    p.map(scrapeClauses, links)
    p.terminate()
    p.join()
    #scrapeClauses(links)

а вот scrapeClauses():

def scrapeClauses(links):
    #header to avoid site detecting scraper
    headers = requests.utils.default_headers()
    headers.update({
        'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
    })
    #list of clauses
    allText = []
    number = 0
    for line in links:
        page_link = line
        print(page_link)
        page_response = requests.get(page_link, headers=headers)
        html_soup = BeautifulSoup(page_response.content, "html.parser")
        assignments = html_soup.find_all('div', class_ ='snippet-content')
        for i in range(len(assignments)):
            assignments[i] = assignments[i].get_text()
            #option to remove te assignment that precedes each clause
            #assignments[i] = assignments[i].replace('Assignment.','',1)
            allText.append(assignments[i])
            #change the index of the name of the word doc
            name = 'limitationOfLiability' + str(number) + '.docx'
            #some clauses have special characters tat produce an error
            try:
                document = Document()
                stuff = assignments[i]
                document.add_paragraph(stuff)
                document.save(name)
                number += 1
            except:
                continue

Я не включил generateNextLink(), чтобы сэкономить место, и потому что я почти уверен, что ошибки нет, но если кто-то подумает, что это так, я предоставлю ее.

Как видите, я печатаю (page_link) в scrapeClauses. Если я не использую пул, он напечатает все нормальные ссылки. Но если я использую пул, куча h печатает строку за строкой. Затем я получаю и ошибка, что ч не является действительным URL Я покажу код ошибки ниже.

https://www.lawinsider.com/clause/limitation-of-liability
h
h
h
h
h
h
h
h
h
h
h
h
h
h
h
h
h
multiprocessing.pool.RemoteTraceback:
"""
Traceback (most recent call last):
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\multiproce
ssing\pool.py", line 121, in worker
    result = (True, func(*args, **kwds))
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\multiproce
ssing\pool.py", line 44, in mapstar
    return list(map(*args))
  File "C:\Users\wquinn\Web Scraping\assignmentBSScraper.py", line 20, in scrape
Clauses
    page_response = requests.get(page_link, headers=headers)
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\api.py", line 75, in get
    return request('get', url, params=params, **kwargs)
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\api.py", line 60, in request
    return session.request(method=method, url=url, **kwargs)
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\sessions.py", line 519, in request
    prep = self.prepare_request(req)
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\sessions.py", line 462, in prepare_request
    hooks=merge_hooks(request.hooks, self.hooks),
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\models.py", line 313, in prepare
    self.prepare_url(url, params)
  File "C:\Users\wquinn\AppData\Local\Programs\Python\Python37-32\lib\site-packa
ges\requests\models.py", line 387, in prepare_url
    raise MissingSchema(error)
requests.exceptions.MissingSchema: Invalid URL 'h': No schema supplied. Perhaps
you meant http://h?

Answer 1

Второй аргумент p.map получить список.Каждый такой элемент будет отправлен в функцию.Таким образом, вы получили string, а не list of string, как вы ожидаете.

Минимальный пример:

from multiprocessing import Pool

def f(str_list):
  for x in str_list:
    print ('hello {}'.format(x))

if __name__ == '__main__':
  str_list = ['111', '2', '33']
  p = Pool(5)
  p.map(f, str_list)
  p.terminate()
  p.join()

Вывод:

hello 1
hello 1
hello 1
hello 2
hello 3
hello 3