Как загрузить динамически сгенерированный контент с веб-страницы?

Question

Я пытаюсь загрузить некоторые данные с веб-страницы, которая генерируется динамически, поэтому использование wget не работает.Страница: http://gaceta.diputados.gob.mx/SIL/Legislaturas/Listados.html Я хочу загрузить список, показанный для каждой из опций, которые можно выбрать в поле "Legislatura". После загрузки я могу обработать данные в ruby.

Просто хотел узнать, каков наилучший способ загрузить это, и, если возможно, выбрать каждый из вариантов и загрузить.

Answer 1

Вы можете использовать веб-инспектор в Safari или Chrome или расширение Firebug в Firefox, чтобы посмотреть, как загружаются данные. Страница выполняет запрос AJAX POST для сценария Perl для этого веб-сайта, и данные возвращаются в виде XML.

Я бы использовал cURL , чтобы получить данные.

Answer 2

Вы можете использовать http://watir.com/ или webrat для имитации того, что вы будете делать для просмотра данных, а затем использовать Nokogiri для анализа HTML.