Я пытаюсь очистить данные с этого веб-сайта.Чтобы получить доступ к таблицам, мне нужно нажать кнопку «Поиск».Я смог успешно сделать это, используя mechanize:
br = mechanize.Browser()
br.open(url + 'Wildnew_Online_Status_New.aspx')
br.select_form(name='aspnetForm')
page = br.submit(id='ctl00_ContentPlaceHolder1_Button1')
«страница» дает мне полученную веб-страницу с таблицей, по мере необходимости.Тем не менее, я хотел бы перебирать ссылки на последующие страницы внизу, и это вызывает JavaScript.Я слышал, что Mechanize не поддерживает это, поэтому мне нужна новая стратегия.
Я полагаю, что могу попасть на последующие страницы с помощью пост-запроса из библиотеки запросов.Однако я не могу нажать «поиск» на главной странице, чтобы перейти к исходной таблице.Другими словами, я хочу повторить приведенный выше код с помощью запросов.Я пытался
s = requests.Session()
form_data = {'name': 'aspnetForm', 'id': 'ctl00_ContentPlaceHolder1_Button1'}
r = s.post('http://forestsclearance.nic.in/Wildnew_Online_Status_New.aspx', data=form_data)
Не уверен, почему, но это снова возвращает главную страницу (без нажатия Поиск).Любая помощь приветствуется.