Использование HTMLAgility Pack для извлечения ссылок

Question

Рассмотрим этот самый простой кусок кода:

    using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using HtmlAgilityPack;

namespace WebScraper
{
    class Program
    {
        static void Main(string[] args)
        {
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml("http://www.google.com");

            foreach (HtmlNode link in doc.DocumentNode.SelectNodes("//a[@href]"))
            {
            }
        }
    }
}

Это фактически ничего не делает, и копируется / вдохновляется различными другими вопросами StackOverflow, такими как this . При компиляции возникает ошибка во время выполнения, которая говорит: «Ссылка на объект не установлена ​​на экземпляр объекта». выделение линии foreach.

Я не могу понять, почему окружающая среда стала раздражительной для этого скромного, невинного и бесполезного фрагмента кода.

Я также хотел бы знать, принимает ли HTMLAgilityPack HTML-классы в качестве узлов?

Answer 1

Если вы хотите загрузить html из Интернета, вам нужно использовать объект HtmlWeb:

HtmlWeb web = new HtmlWeb();
HtmlDocument doc =web.Load(url);

Answer 2

LoadHtml принимает строку фактического HTML в качестве аргумента. Вместо этого вы можете передать Load a Stream из WebResponse.GetResponseStream().

WebRequest req = WebRequest.Create( "http://www.google.com" );
Stream s = req.GetResponse().GetResponseStream();
doc.Load(s);