Я делаю личный проект, в котором я пытаюсь очистить HTML таблицы с сайта финансовых данных, используя Python. Я могу успешно использовать пакет запросов в Python для доступа к publi c веб-сайтам и извлечения любой информации (впоследствии использую BeautfulSoup4 для обработки), но код, который я использую, показан ниже:
# import requests
import requests
# access website
url = 'https://financial-data-url.ezproxy1.library.uniname.edu.com/path/to/financial/data'
headers = example_header
page = requests.get(url, headers = headers)
Однако для доступа к веб-сайту обычно требуется вход в систему через библиотечную базу данных моего университета через EZproxy-сервер (показан в примере URL). Когда я пытаюсь запросить URL-адрес веб-страницы финансовых данных после получения доступа через базу данных библиотеки, она возвращает то, что кажется веб-страницей EZproxy университетской библиотеки. Здесь мне нужно нажать «войти», прежде чем перейти на веб-страницу с финансовыми данными.
Есть ли какие-либо учетные данные, которые могут отсутствовать в функции запроса, или потенциально другой способ передачи прокси-сервера на URL, чтобы запрос не попадал на страницу входа прокси-сервера?