Поиск на веб-странице с использованием запросов Python

Question

Я хочу получить html-содержимое веб-страницы. Я не уверен, как определить поле поиска, я попробовал следующее.

from fake_useragent import UserAgent
import requests


ua = UserAgent()
print(ua.chrome)
header = {'User-Agent': str(ua.chrome)}
print(header)
body = {'Search': '1.1.1.1'}
url = "https://randr.nist.gov/enzyme/Default.aspx"
htmlContent = requests.get(url, data=body) 
print(htmlContent.text)

Может кто-нибудь предложить, как определить правильное поле поиска?

Answer 1

Может быть легко сделано с селеном, как это:

from selenium import webdriver

search_input = '1.1.1.1'

driver = webdriver.Chrome('chromedriver.exe')
driver.get('https://randr.nist.gov/enzyme/Default.aspx')
driver.find_element_by_id('MainBody_txtSrchAutoFill').send_keys(search_input)
driver.find_element_by_id('MainBody_ImgSrch').click()
result_table = driver.find_element_by_id('MainBody_gvSearch')
print(result_table.text)