Заголовки WebClient

Question

Я использую WebClient для очистки поиска Google. все время я получал «Невозможно добраться до этой страницы», пока не изменил заголовок User-Agent:

            string page = string.Format("https://www.google.com/search?q={0}&hl=en", my_stocks[order].Symbole+" stock");
            WebClient client = new WebClient ();
            client.Headers["User-Agent"] = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)";
            string r = client.DownloadString(page);

, но html отображался иначе, чем когда я искал ту же вещь в моем chrome. поэтому я попытался изменить заголовок на тот же, когда я использую chrome с https://www.whatismybrowser.com/detect/what-is-my-user-agent, но снова получаю «Невозможно добраться до этой страницы». Что мне здесь не хватает?

Answer 1

Мои 2 цента ...

Поскольку приток одностраничных приложений сводится к тому, что веб-очистка уже не та, что раньше, поскольку страницы, как правило, больше не отображаются на стороне сервера.

Весьма вероятно, что поиск Google доставляется с использованием асинхронных запросов REST, а не страницы, отображаемой на стороне сервера.

Просматривайте трассировку сети на вкладке Chrome, когда вы выполняете поиск Google и Вероятно, вы увидите много разных сетевых запросов.

Я предлагаю вам поискать более специфичный c API для работы с типом запроса, который вы хотите сделать.