urllib urlopen выбрасывает код состояния 403: ошибка HTTP 403: запрещено

Question

Я пытался проверить соединение с сайтом на PyCharm. Когда я запускаю код, я сталкиваюсь с этой ошибкой:

Я использую модули BeautifulSoup

import urllib.request
from bs4 import BeautifulSoup


def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()

def parse(html):
    soup = BeautifulSoup(html)

def main():
    print(get_html('https://tap.az/'))


if __name__ == '__main__':
    main()

---

C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\python.exe  C:/Users/Adil/Desktop/PAbot/pabot.py
    Traceback (most recent call last):
      File "C:/Users/Adil/Desktop/PAbot/pabot.py", line 21, in <module>
        main()
      File "C:/Users/Adil/Desktop/PAbot/pabot.py", line 17, in main
        print(get_html('https://tap.az/'))
      File "C:/Users/Adil/Desktop/PAbot/pabot.py", line 8, in get_html
        response = urllib.request.urlopen(url)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 222, in urlopen
        return opener.open(url, data, timeout)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 531, in open
        response = meth(req, response)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 641, in http_response
        'http', request, response, code, msg, hdrs)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 569, in error
        return self._call_chain(*args)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 503, in _call_chain
        result = func(*args)
      File "C:\Users\Adil\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 649, in http_error_default
        raise HTTPError(req.full_url, code, msg, hdrs, fp)
    urllib.error.HTTPError: HTTP Error 403: Forbidden

Answer 1

Попробуйте добавить пользовательский агент в заголовок вашего запроса.

from bs4 import BeautifulSoup
import urllib.request
user_agent = 'Mozilla/5.0'
headers = {'User-Agent': user_agent}
request = urllib.request.Request(url='https://tap.az/', headers=headers)
response = urllib.request.urlopen(request)
result = BeautifulSoup(response.read(), 'html.parser')
print(result)