Как я могу исправить это l oop на go по каждому URL-адресу? - PullRequest
0 голосов
/ 26 мая 2020
for url in urls:
    for page in range(0,26): #Remember to update the number of pages 
        #url = 'https://www.metacritic.com/game/switch/pokemon-sword/user-reviews?page='+str(page)
        headers = {'User-agent': 'Mozilla/5.0'}
        response  = requests.get(url, headers = headers)
        #time.sleep(rand.randint(3,30)) 
        soup = BeautifulSoup(response.text, 'html.parser')
        review_dict ['product'] = soup.find('div', class_='product_title').find('h1').text
        for review in soup.find_all('div', class_='review_content'):
            if review.find('div', class_='name') == None:
                break
            review_dict['name'].append(review.find('div', class_='name').find('a').text)
            review_dict['date'].append(review.find('div', class_='date').text)
            review_dict['rating'].append(review.find('div', class_='review_grade').find_all('div')[0].text)
            if review.find('span', class_='blurb blurb_expanded'):
                review_dict['review'].append(review.find('span', class_='blurb blurb_expanded').text)
            else:
                review_dict['review'].append(review.find('div', class_='review_body').find('span').text)

У меня есть этот код, и мне нужно пройти через пару URL-адресов, но я всегда получаю одну и ту же ошибку (ConnectionError: HTTPSConnectionPool)

Это список URL-адресов:

urls = [
    'https://www.metacritic.com/game/pc/world-of-warcraft-legion/user-reviews?page=', 
    'https://www.metacritic.com/game/pc/world-of-warcraft-warlords-of-draenor/user-reviews?page=', 
    'https://www.metacritic.com/game/switch/pokemon-sword/user-reviews?page='
]
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...