Проблема в том, что данные браузера не отправляются на запрашивающий сайт.вам нужно идентифицировать себя на веб-сайте, который запрашивает данные.
просто добавьте useragent в свой код
request.UserAgent = "Mozilla / 5.0 (Windows NT 6.1; WOW64; rv: 2.0) Gecko / 20100101 Firefox / 4.0 ";
Код конца должен выглядеть примерно так:
HttpWebRequest Request = (HttpWebRequest)WebRequest.Create(http://WEBURL);
Request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0) Gecko/20100101 Firefox/4.0";
try
{
response = (HttpWebResponse)Request.EndGetResponse(ar);
}
catch (System.Net.WebException ex)
{
response = (HttpWebResponse)ex.Response;
switch (response.StatusCode)
{
case HttpStatusCode.NotFound: // 404
break;
case HttpStatusCode.InternalServerError: // 500
break;
default:
throw;
}
}
Пожалуйста, найдите ссылку / доказательство для упомянутого вышеcode: https://msdn.microsoft.com/en-us/library/system.net.webclient(v=vs.110).aspx
Это было упомянуто в ссылке
"Экземпляр WebClient не отправляет необязательные заголовки HTTP по умолчанию. Если для вашего запроса требуется необязательный заголовок, необходимо добавитьзаголовок для коллекции заголовков. Например, чтобы сохранить запросы в ответе, необходимо добавить заголовок агента пользователя. Кроме того, серверы могут возвращать 500 (Внутренняя ошибка сервера), если заголовок агента пользователя отсутствует. "