Гусеничный питон. Разбор и выполнение ajax

Question

У меня есть базовая структура для сканера.Теперь я выпустил его на некоторых php-сайтах, и он работает как шарм.Хотя сейчас я хочу, чтобы он строил таблицы данных из контента ajax.

В настоящее время я использую Mechanize для PYTHON и perl для сборки своего сканера.Хотя модуль Mechanize не выполняет AJAX.Как мне добраться до контента, созданного с помощью асинхронного AJAX?

Я знаю, что есть что-то под названием Selenium, настоящий браузер для автоматизации.Но это мой единственный вариант?

Answer 1

Вы можете запустить безголовый браузер, например, phantomjs , который понимает JavaScript, DOM и т. Д., Но вам придется писать свой код на Javascript, преимущество в том, что вы можете делать все, что захотите.

Есть и другой способ, кроме messy.

. Вы можете наблюдать, какие запросы делаются, когда вы нажимаете кнопку (используя Firebug в Firefox или Инструменты разработчика в Chrome).Затем попытайтесь выполнить обратный инжиниринг javascript, работающего за страницей, и попытайтесь сделать то же самое, используя ваш код на python, для этого взгляните на Spidermonkey