Я пытаюсь зачистить сайт, требующий входа в систему. Я успешно зашел на сайт с логином, но когда я захожу на страницу, html отличается от фактического html.Пожалуйста, посмотрите на мой код:
import requests
from bs4 import BeautifulSoup
# create a session
session = requests.Session()
datas=(***a dictionary that works fine. Log in information is stored here)
session.post('https://www.example.com/Default.aspx?
ReturnUrl=%2faces%2findex.aspx',
data=datas)
r = session.get('http://www.example.com/parts.aspx?
pn=45')
print(r.url)
>>>>'http://www.example.com/parts.aspx?
pn=45'
print(r.status_code)
>>>>200
page_soup = BeautifulSoup(r.text,'html.parser')
containers=page_soup.findAll('div',{'class':'partbox'})
print(containers)
>>>>[]
Когда я сравниваю html из page_soup и r.text с реальным html на сайте, им не хватает некоторых ключевых функций.Есть предложения?
Вот документация сессий: http://docs.python -requests.org / en / master / api /