Объедините Beautifulsoup и Mechanize, чтобы заполнить форму и получить результаты с одного URL - PullRequest
Новая
       38

Объедините Beautifulsoup и Mechanize, чтобы заполнить форму и получить результаты с одного URL

0 голосов
/ 04 мая 2019

Я пытаюсь заполнить форму на https://www.cancer.duke.edu/Nomogram/firstlinechemotherapy.html несколькими значениями и получить результаты. Обратите внимание, что URL-адрес не изменяется при отправке. (Кнопка подтверждения)

Я попытался заполнить форму с помощью Mechanize и извлечь результат с помощью Beautifulsoup. Но я не могу получить ответ, так как URL никогда не меняется. 

import urllib.request
from urllib.request import urlopen
from bs4 import BeautifulSoup as bsoup
import mechanize

#Fill form with mechanize
br = mechanize.Browser()
br.open("https://www.cancer.duke.edu/Nomogram/firstlinechemotherapy.html")
response = br.response()
mech=response.read()
br.select_form(id='myform')
br.form['alb']='7'
br.form['hemo']='17'
br.form['alkph']='5000'
br.form['psa']='5000'
br.submit()

#Extract Output
url = urllib.request.urlopen("https://www.cancer.duke.edu/Nomogram/firstlinechemotherapy.html")
content = url.read()
soup= bsoup(content,"html.parser")
riskValue=soup.find('div',{'id':'resultPanelRisk3'})
tableValue=riskValue.find('table')
trValue=tableValue.find_all('tr')[1]
LowValue=trValue.find('td',{'id':'Risk3Low'}).string
IntermediateValue=trValue.find('td',{'id':'Risk3Intermediate'}).string
HighValue=trValue.find('td',{'id':'Risk3High'}).string

При использовании приведенного выше кода значение для LowValue равно '*', тогда как ожидаемое значение LowValue для вышеуказанных значений формы равно 'Да'.

1 Ответ

0 голосов
/ 04 мая 2019

Было бы проще и эффективнее сделать это, используя библиотеку запросов , поэтому ваш код должен выглядеть примерно так: 

import requests

alb='7'
hemo='17'
alkph='5000'
psa='5000'

url = f"https://www.cancer.duke.edu/Nomogram/EquationServer?pred=1&risk=1&lnm=0&bm=0&visc=0&pain=0&ldh=0&psanew=0&alb={alb}&hemo={hemo}&alkph={alkph}&psa={psa}&equationName=90401&patientid=&comment=&_=1556956911136"
req = requests.get(url).text

results = req[req.index("Row6=")+5:].strip().split(",")
results_transform = ['Yes' if x == '1' else 'No' for x in results]

LowValue = results_transform[2] 
IntermediateValue= results_transform[3] 
HighValue= results_transform[4]

PS:

переменная results выводит что-то вроде этого: 

['NA', 'NA', '1', 'NA', 'NA']

, где последние три элемента Risk3Low, Risk3Intermediate и Risk3High соответственно. Furtheremore "NA" = "No" и "1" = "Yes".

Именно поэтому я использую results_transform для преобразования 

['NA', 'NA', '1', 'NA', 'NA']

в: 

['No', 'No', 'Yes', 'No', 'No']

Надеюсь, это поможет

...