Как получить данные, поступающие с веб-сайта с поддержкой AJAX?

Question

Некоторое время назад я создал приложение для динамического сбора данных с сайта asp, просматривая его, анализируя полученные html-страницы и сохраняя выбранные данные в базе данных.

Теперь мне нужно сделать то же самое снова, но на этот раз веб-сайт разработан с использованием AJAX, и я не знаю, как решить эту проблему. Любые идеи приветствуются.

Спасибо.

Answer 1

Я бы предложил два способа решения вашей проблемы:

1) если вы создаете сканер для одного конкретного сайта с тоннами данных для извлечения, напишите эти запросы вручную (например, с помощью класса WebRequest)

2) если вам нужно универсальное решение, попробуйте некоторые инструменты тестирования GUI (Selenium, Telerik WebAii и т. Д.), Чтобы запустить браузер на сайте, поэтому JS и AJAX будут выполняться браузером.

Зависит от вас.