Почему этот URL не открывается с помощью python, но может быть открыт непосредственно из браузера? - PullRequest
Новая
       47

Почему этот URL не открывается с помощью python, но может быть открыт непосредственно из браузера?

0 голосов
/ 24 февраля 2020

Это код, который я написал в python для открытия URL. 

from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup
import time
import requests
from random import randint
import urllib.parse

class AmazonReviews():
    def __init__(self):
           self.headers = {'User-Agent' : 'Mozilla/5.0'}

    def open_url(self,url):
        values = {}
        data = urllib.parse.urlencode(values).encode('utf-8')
        req = urllib.request.Request(url, data, self.headers)
        response = urllib.request.urlopen(req)
        html = response.read()
        return html

   def fetch_reviews(self,all_reviews_link):
        try:
            url = "https://www.amazon.in" + all_reviews_link
            print(url)
            html = self.open_url(url)
        except HTTPError as e:
            print(e)

review = AmazonReviews()
review.fetch_reviews('/gp/profile/amzn1.account.AFBWOEM2CWLC7ZRQ7WK6FQYXH6AA/ref=cm_cr_arp_d_gw_btm?ie=UTF8')

Я передаю URL как таковой, потому что в основном проекте этот URL очищен с использованием атрибута href, который дает относительный путь , Если есть какой-либо метод для получения абсолютного URL, пожалуйста, предложите.

Вывод - 

https://www.amazon.in/gp/profile/amzn1.account.AFBWOEM2CWLC7ZRQ7WK6FQYXH6AA/ref=cm_cr_arp_d_gw_btm?ie=UTF8
HTTP Error 404: NotFound

Ссылка кода https://onlinegdb.com/SyFPXzWVI

1 Ответ

0 голосов
/ 24 февраля 2020

Используйте Селен вместо: 

from selenium import webdriver
import os

browser = webdriver.Chrome(executable_path=os.path.abspath(os.getcwd()) + "/chromedriver")
link = "https://www.amazon.in/gp/profile/amzn1.account.AFBWOEM2CWLC7ZRQ7WK6FQYXH6AA/ref=cm_cr_arp_d_gw_btm?ie=UTF8"
browser.get(link)
name = browser.find_element_by_xpath('//*[@id="customer-profile-name-header"]/div[2]/span').text

Выход: 

Dheeraj Malhotra
...