Запрашивает Sessions.get получает немного другой HTML - PullRequest
0 голосов
/ 17 февраля 2019

Я пытаюсь зачистить сайт, требующий входа в систему. Я успешно зашел на сайт с логином, но когда я захожу на страницу, html отличается от фактического html.Пожалуйста, посмотрите на мой код:

import requests
from bs4 import BeautifulSoup
# create a session
session = requests.Session()

datas=(***a dictionary that works fine.  Log in information is stored here)
session.post('https://www.example.com/Default.aspx? 
ReturnUrl=%2faces%2findex.aspx',
         data=datas)
r = session.get('http://www.example.com/parts.aspx? 
pn=45')
print(r.url)
>>>>'http://www.example.com/parts.aspx? 
pn=45'
print(r.status_code)
>>>>200

page_soup = BeautifulSoup(r.text,'html.parser')
containers=page_soup.findAll('div',{'class':'partbox'})
print(containers)
>>>>[]

Когда я сравниваю html из page_soup и r.text с реальным html на сайте, им не хватает некоторых ключевых функций.Есть предложения?

Вот документация сессий: http://docs.python -requests.org / en / master / api /

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...