Используя Python, я создал скребок для сайта ASP.NET (в частности, портлета поиска курса Jenzabar), который будет создавать новый сеанс, загружать первую страницу поиска, а затем моделировать поиск, отправляя обратно необходимые поля.Однако что-то изменилось, и я не могу понять, что, и теперь я получаю ответы HTTP 500 на все.Я не вижу новых полей в данных POST браузера, которые я вижу.
В идеале я бы хотел выяснить, как починить мой собственный скребок, но об этом, вероятно, трудно спросить в StackOverflow, не добавив тонныспецифический контекст, поэтому мне было интересно, есть ли способ трактовать страницу как черный ящик и просто запускать события щелчка по нужным ссылкам обратной передачи, а затем получить HTML-код результата.
Я видел некоторые ответыздесь о чистке с помощью JavaScript, но они в основном сосредоточены на ожидании загрузки javascript и возвращении нормализованного представления страницы.Я хочу смоделировать браузер, фактически нажимающий на ссылки и следующий по тому же пути, чтобы выполнить запрос.