Как получить HTML-содержимое страницы с ошибкой 404, используя python?

Question

Я использую python для получения данных HTML с нескольких страниц по URL. Я обнаружил, что urllib выдает исключение, когда URL не существует. Как получить HTML-код этой пользовательской страницы ошибки 404 (страницы, на которой написано что-то вроде «Страница не найдена»)

Текущий код:

try:
    req = Request(URL, headers={'User-Agent': 'Mozilla/5.0'})
    client = urlopen(req)

    #downloading html data
    page_html = client.read()

    #closing connection
    client.close()
except:
    print("The following URL was not found. Program terminated.\n" + URL)
    break

Answer 1

Вы пробовали библиотеку requests?

Просто установите библиотеку с помощью pip

pip install requests

И используйте это так

import requests

response = requests.get('https://stackoverflow.com/nonexistent_path')
print(response.status_code) # 404
print(response.text) # Prints the raw HTML response