Как очистить данные, используя модуль запросов только в Python - PullRequest
Новая
       29

Как очистить данные, используя модуль запросов только в Python

1 голос
/ 30 марта 2019

На самом деле я пытаюсь проанализировать веб-сайт с помощью модуля запросов и извлечь из него текст.

URL: https://www.icsi.in/student/Members/MemberSearch.aspx

после нажатия на ссылку в текстовом поле Cp Number введите: 16803

поиск по запросу,

внизу вы можете увидеть некоторые данные, я хочу эти данные, скажем, имя.

Я успешно могу получить данные с использованием селена, но не могу получить их с помощью модуля запросов.

Я пробовал модуль запросов с параметрами, сессиями, файлами cookie и т. Д. но ничего не помогло. 

url = "https://www.icsi.in/student/Members/MemberSearch.aspx"
ss = {'dnn$ctr410$MemberSearch$txtCpNumber':'16803',
      '__EVENTTARGET':'dnn$ctr410$MemberSearch$btnSearch',
      '__VIEWSTATEGENERATOR':'6A295697',
      'dnn$ctlHeader$dnnSearch$Search':'SiteRadioButton'}

session = requests.Session()
cookies = session.cookies.get_dict()

for cookie in cookies:
    session.cookies.set(cookie['name'], cookie['value'])

response = requests.post(url, data=ss)
print(response)

HTMLTree = html.fromstring(response.content)

name = HTMLTree.xpath('//div[@class="name_head"]//text()')

print(name)

Я ожидаю вывод имени человека.

Кто-нибудь, пожалуйста, помогите мне.

1 Ответ

0 голосов
/ 30 марта 2019

Если вы не возражаете против использования кода на C #, я был бы рад помочь вам, иначе это очень длительный процесс. Если вы решите, что python - это единственный путь, по которому вы готовы идти, попробуйте получить зашифрованное значение в C: \ User [USERNAME] \ Appdata \ Local \ Google \ Chrome \ User Data \ Default \ Cookies. Вы можете изменить путь к файлу в соответствии с вашей ОС. Вы можете использовать SQLite для чтения и изменения зашифрованных значений. 

cookie = Decrypt(Encoding.Default.GetBytes(SQLDatabase1.GetValue(i, "encrypted_value")
if (cookie.Contains(".ASPXANONYMOUS")): 
    Step1 = cookie + "END"
    Step2 = (step1 + ".ASPXANONYMOUS")

Следующий код может помочь вам в вашем путешествии.

...