C# WebClient загружает исходники для некоторых страниц, но не для всех - PullRequest
Новая
       43

C# WebClient загружает исходники для некоторых страниц, но не для всех

0 голосов
/ 11 апреля 2020

У меня в настоящее время есть этот код, который должен захватить источник HTML сайта. В частности, я говорю это, чтобы прочитать источник 4chan. Он БУДЕТ получить исходный код для доски , такой как / pol / или / news /, но NOT получит исходный код для Speci c темы . Выдает ошибку: [System. Net .WebException: 'Удаленный сервер возвратил ошибку: (403) Forbidden.']

Вот код, с которым я работаю. 

    public string GetSource(string url)
    {
        WebClient client = new WebClient();
        ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12; //tried with & without this
        client.Headers.Add("user-agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/6.0;)");
        try
        {
            return client.DownloadString(url);
        }
        catch
        {
            Error(2); //error code 2
        }
        return "";
    }

Например, будет загружен источник "https://boards.4chan.org/pol". Он не будет загружать источник "https://boards.4chan.org/pol/thread/#"

Я полностью потерян, что делать дальше. У меня есть тег «user-agent», и он иногда работает, поэтому я не знаю, в чем проблема. Любая помощь будет оценена. Спасибо.

...