C # - получить контент с URL

Question

Как я могу получить контент с URL-адреса с веб-сайта linkedin, Когда я даю URL-адрес с EmailID, мне нужно получить HTML-код, как показано ниже.Но, когда я попытался получить доступ к URL с помощью кода, я получаю сообщение о проблеме с кодом.Я пытался с этим кодом C #, но у меня проблема с входом

string Url = "https://www.example.com/sales/gmail/profile/viewByEmail/" + 
        TextBox1.Text;//example@gmail.com
        HtmlWeb web = new HtmlWeb();
        ServicePointManager.Expect100Continue = true;
        ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12;
        HtmlDocument doc = web.Load(Url);
        HtmlNode[] nodes=doc.DocumentNode.SelectNodes("//div").ToArray();

Может кто-нибудь, пожалуйста, помогите мне, как я могу получить HTML-код со входом, Спасибо заранее.

Answer 1

Ошибка сообщает вам точную причину вашей проблемы - вам нужно войти в систему. Здесь есть 2 решения:

1. Просто подключите кнопку к странице входа.Это хакерское решение, я его ни в коем случае не рекомендую.С учетом сказанного это согласуется с вашим текущим кодом.
2. Используйте API вместо Selenium.Я не уверен, зачем вам нужен Selenium: кажется, вы просто хотите получить данные из LinkedIn.Если это то, что вы ищете, вам нужно использовать LinkedIn API .Это правильный способ получить информацию из LinkedIn, если вы планируете обрабатывать ее самостоятельно.

Я не знаю ваших требований, и, возможно, вам нужно нужен сайт в браузере,Но мне кажется, вам нужен их API.Прочитайте некоторые учебники для него, и он, вероятно, сможет выполнить вашу задачу гораздо лучше, чем попытка обработать сайт в Selenium.

Answer 2

По сути, если вы хотите манипулировать формой входа, вам нужен браузер. Вы можете попробовать безголовый браузер, такой как PhantomJS или CasperJs. Есть куча документации и примеров, которые вы можете попробовать, прежде чем настраивать свою страницу с вопросом. Обезглавленный браузер работает как обычный браузер и позволяет вам писать код для его автоматизации.