Получить данные с других сайтов

Question

Еще до того, как ответить на мой вопрос, скажу вам, что это очень расплывчатый вопрос. Но, пожалуйста, дайте мне знать, если у вас есть подобные идеи.

На самом деле я пытаюсь написать свой собственный сайт локально, используя ASP.Net. Я на самом деле хотел попробовать смоделировать сайт с деталями торговли и акций. Я хотел на самом деле получить подробности из некоторых были. Пожалуйста, дайте мне знать, можно ли получить данные с другого сайта или есть какой-нибудь сайт, где я могу получить такие данные. Также, пожалуйста, дайте мне знать, какие все параметры мне нужно иметь в виду до и во время разработки сайта. Пожалуйста, дайте мне знать любые такие идеи, которые я могу использовать. Большое спасибо всем и каждому. Любой комментарий от вас приветствуется.

Answer 1

Эти статьи могут пригодиться вам, чтобы увидеть, как данные извлекаются и обрабатываются:

http://aspnetlibrary.com/articledetails.aspx?article=Retrieve-data-from-a-web-page

и

http://aspnetlibrary.com/articledetails.aspx?article=Convert-HTML-tables-to-a-DataSet

Answer 2

Да, вы можете использовать ASP.Net для извлечения данных с других веб-сайтов, хотя, вообще говоря, если вы планируете сделать большой сайт, удаление других сайтов выполняется "в автономном режиме", а приложение ASP.Net отключается. этот кеш просканированных страниц. Имейте в виду, что интенсивный трафик, приходящий с одного IP-адреса (т. Е. Вашего сервера), вероятно, будет поднимать флаги с помощью системного администратора, если у вас нет предварительного соглашения с сайтом, и вы можете просто забанить свой IP-адрес для его охлаждения.

Answer 3

Некоторые из основ, которые вы можете начать изучать, это классы HttpWebRequest & HttpWebResponse , ниже приведен простой пример, взятый из MSDN

    // Create an HttpWebRequest using WebRequest.Create (see .NET docs)!
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);


    // Execute the request and obtain the response
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();

Answer 4

Да, конечно, вы можете получать данные, используя System.Net классы, такие как System.Net.WebClient .

Answer 5

Обычно я получаю такие данные из веб-службы, предоставляемой источником данных. Хотя я сомневаюсь, что вы могли бы найти такой сервис бесплатно.