Как проанализировать активность IE при открытии определенной веб-страницы

Question

Я бы хотел получить данные с определенной веб-страницы, используя библиотеку urllib. Проблема в том, что для открытия этой страницы необходимо отправить некоторые данные сервер раньше. Если я делаю это с IE, мне нужно сначала обновить некоторые флажки и затем нажмите кнопку «Показать данные», чтобы открыть нужную страницу. Глядя в исходный код, я вижу, что нажатие «отображения данных» представляет собой form - там нет конкретного URL-адреса. Я не могу понять, посмотрев при коде какие параметры отправляются на сервер ... Я думаю, что, возможно, более простой способ сделать это - проанализировать между IE и веб-сервером после нажатия кнопки «показать данные». Если бы я мог ясно видеть, что делает IE, я мог бы имитировать это с помощью urllib.

Какой самый простой способ сделать это?

Answer 1

Прокси-отладчик HTML будет лучшим инструментом для использования в этой ситуации. Поскольку вы используете IE, я рекомендую Fiddler , так как он разработан Microsoft и автоматически интегрируется с Internet Explorer через плагин. Я лично использую Fiddler все время, и это действительно полезный инструмент, так как я создаю приложение, которое имитирует сеанс просмотра пользователем веб-сайта. Fiddler имеет действительно хорошую отладку параметров запроса, ответов и даже может декодировать зашифрованные пакеты.

Answer 2

Вы можете использовать прокси-сервер для отладки (например, Fiddler , Charles ) или аддон браузера (например, HttpFox , TamperData ) или анализатор пакетов (например, Wireshark ).