Как я могу использовать HTML Agility Pack для получения всех изображений с веб-сайта? - PullRequest
Новая
       36

Как я могу использовать HTML Agility Pack для получения всех изображений с веб-сайта?

19 голосов
/ 22 января 2010

Я только что скачал HTMLAgilityPack, и в документации нет примеров.

Я ищу способ загрузить все изображения с веб-сайта. Строки адреса, а не физическое изображение. 

<img src="blabalbalbal.jpeg" />

Мне нужно вытащить источник каждого тега img. Я просто хочу почувствовать библиотеку и то, что она может предложить. Все говорили, что это лучший инструмент для работы.

Редактировать 

public void GetAllImages()
    {
        WebClient x = new WebClient();
        string source = x.DownloadString(@"http://www.google.com");

        HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
        document.Load(source);

                         //I can't use the Descendants method. It doesn't appear.
        var ImageURLS = document.desc
                   .Select(e => e.GetAttributeValue("src", null))
                   .Where(s => !String.IsNullOrEmpty(s));        
    }

Ответы [ 2 ]

34 голосов
/ 22 января 2010

Вы можете сделать это с помощью LINQ, например: 

var document = new HtmlWeb().Load(url);
var urls = document.DocumentNode.Descendants("img")
                                .Select(e => e.GetAttributeValue("src", null))
                                .Where(s => !String.IsNullOrEmpty(s));

РЕДАКТИРОВАТЬ : Этот код теперь фактически работает; Я забыл написать document.DocumentNode.

9 голосов
/ 22 января 2010

На основе одного примера, но с измененным XPath: 

 HtmlDocument doc = new HtmlDocument();
 List<string> image_links = new List<string>();
 doc.Load("file.htm");
 foreach(HtmlNode link in doc.DocumentElement.SelectNodes("//img"))
 {
    image_links.Add( link.GetAttributeValue("src", "") );
 }

Я не знаю это расширение, поэтому я не уверен, как записать массив в другое место, но это по крайней мере даст вам ваши данные. (Кроме того, я не правильно определяю массив, я уверен. Извините).

Редактировать

Используя ваш пример: 

public void GetAllImages()
    {
        WebClient x = new WebClient();
        string source = x.DownloadString(@"http://www.google.com");

        HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
        List<string> image_links = new List<string>();
        document.Load(source);

        foreach(HtmlNode link in document.DocumentElement.SelectNodes("//img"))
        {
          image_links.Add( link.GetAttributeValue("src", "") );
       }


    }
...