Какой скребок для экрана следует использовать для динамических веб-страниц?

Question

Я хочу разработать программу, которая собирает данные с 6 различных веб-сайтов и отображает информацию, которая динамически меняется.

Для разработки такой программы мне понадобится утилита скребка экрана, которая способна извлекать данные одновременно с 6 различных веб-страниц, на которых данные изменяются с очень высокой частотой.

См. Ссылку ниже, чтобы получить представление о типе и динамическом способе отображения данных.

http://www.igmarkets.com.au/pricestream/outside/getMarketList?webSiteId=zam&businessArea=F&locale=en_ZA&firstTime=true&skin=igindex

Информация отображается на 6 веб-страницах несколько иначе, но концепция очень похожа.

Может ли кто-нибудь посоветовать, какое программное обеспечение подходит для этой цели.

Большое спасибо

Answer 1

С этической точки зрения скрининг может быть сомнительной практикой, но есть законное применение.Поисковые системы делают что-то вроде очистки, чтобы получить свои результаты, например.

Некоторые сайты блокируют утилиты, которые делают слишком много запросов - что является хорошим основанием для запроса разрешения, если вы собираетесь делать много запросов - иначе это может выглядеть как DoS-атака исайт может принять меры против вас.

И все же, если у вас есть законное использование для чтения содержимого страницы (чтобы вы могли каким-то образом его обработать), код довольно тривиален.

С MSDN

В C #:

// Initialize the WebRequest.
WebRequest myRequest = WebRequest.Create("http://www.contoso.com");

// Return the response. 
WebResponse myResponse = myRequest.GetResponse();

// Code to use the WebResponse goes here.

// Close the response to free resources.
myResponse.Close();