Я использую python библиотеку запросов для получения некоторых веб-страниц с веб-сайта в ASP. NET.
В основном на веб-сайте я должен повторно отправлять форму и получать результаты отображается (в файл Excel). Но для отправки этой формы ему необходимо отправить переменные состояния, такие как EventValidation, Viewstate, что сейчас выполняется вручную. Вручную, в том смысле, что я вхожу на веб-сайт, основанный на капче, затем вручную копирую переменные состояния (используя chrome проверить функциональность элемента) и файлы cookie в мой python скрипт и, наконец, запускаю скрипт. Думаю, именно для этого и предназначен веб-скребок.
Теперь мне нужно автоматизировать ручное копирование переменных состояния. И проблема в том, что эти переменные представляют собой длинные случайные строки, и какая-то автоматизация кажется мне довольно сложной. И если, скажем, у меня есть 2 переключателя в форме, которую нужно отправить (внутрь, наружу), нажатие на другую кнопку, похоже, меняет значение этих переменных состояния, что требует повторного копирования вручную снова и снова.
Другой проблема: при отображении результатов поиска, если их много (скажем, более 200 строк), результаты переносятся на последующие страницы, и нажатие на последующие страницы для их повторного извлечения изменяет эти переменные.
Что-то с этим можно сделать?