Загрузка большого количества скользких данных

Question

У меня есть доступ к веб-интерфейсу для большого количества данных. К этим данным обычно обращаются люди, которым требуется всего несколько предметов. Компания, в которой я работаю, хочет, чтобы я загрузил весь набор. К сожалению, интерфейс позволяет вам видеть только пятьдесят элементов (из десятков тысяч) одновременно и разделяет данные в разные папки.

К сожалению, все данные имеют одинаковый URL-адрес, который динамически обновляется через ajax-вызовы к aspx-интерфейсу. Написание простого сценария curl для захвата данных затруднено из-за этого и из-за необходимости аутентификации.

Как мне написать скрипт, который перемещается по странице, запускает ajax-запросы, ждет обновления страницы, а затем очищает данные? Была ли эта проблема решена раньше? Кто-нибудь может указать мне на инструментарий?

Любой язык в порядке, у меня хорошие знания большинства языков веб и сценариев.

Спасибо!

Answer 1

Я обычно просто использую программу типа Fiddler или Live HTTP Headers и просто наблюдаю, что происходит за кулисами.В 99,9% случаев вы увидите, что есть строка запроса или вызов REST с очень простым шаблоном, который вы можете эмулировать.

Answer 2

Может быть, это?

Очистка сайта с использованием jquery и ajax

http://www.kelvinluck.com/2009/02/data-scraping-with-yql-and-jquery/

Answer 3

Если вам нужно напрямую управлять браузером

Вы когда-нибудь думали об использовании таких инструментов, как WatiN , которые фактически используются для тестирования пользовательского интерфейса, но я полагаю, вы могли бы использовать его для программного запросав любом месте и действуйте по ответам.

Если вам просто нужно получить данные

Но, поскольку вы можете делать все что угодно, вы можете просто делать обычные веб-запросы из настольного приложения и анализировать результаты.Вы можете настроить его под свои нужды.И моделируйте запросы AJax по желанию, устанавливая определенные заголовки запросов.