HtmlAgilityPack - Как извлечь данные из определенного класса из HTML-страницы в C # - PullRequest
Новая
       9

HtmlAgilityPack - Как извлечь данные из определенного класса из HTML-страницы в C #

0 голосов
/ 10 февраля 2019

Я пытаюсь извлечь URL-ссылку, заголовок и время из html-страницы, в частности из класса commentList, и поместить ее в список.Как я могу добиться этого?

Это HTML-страница: 

<div class="filter-Holder">
     <div class="list">
         <ul class="commentList">
            <li>
                <div class="time">19:45</div>
                <h5>
                <a href="https://urlLink.com" class="title">textTitle</a>
                </h5>

Это мой код, таким образом: 

var url = "https://www.url.com/";
var webGet = new HtmlWeb();
var document = webGet.Load(url);

string urllink = document.DocumentNode.SelectNodes("//* 
[@id='content']/div[4]/div/div/div/ul")[0].InnerText;
        foreach (var i in urllink)
        {
            Console.Write(i);
        }

        var linksOnPage = from
            lnks in document.DocumentNode.Descendants()
            where
            lnks.Name == "a" &&
            lnks.Attributes["href"] != null &&
            lnks.InnerText.Trim().Length > 0

            select new
            {
                Url = lnks.Attributes["href"].Value,
                Text = lnks.InnerText,
            };

1 Ответ

0 голосов
/ 10 февраля 2019

В зависимости от того, насколько хорошо сформированный HTML соответствует вашему, это должно сработать. 

private static void Main(string[] args)
{
    string htmlFragment = "" +
        "<div class=\"filter-Holder\">" +
        "   <div class=\"list\">" +
        "       <ul class=\"commentList\">" +
        "           <li>" +
        "               <div class=\"time\">19:45</div>" +
        "               <h5>" +
        "                   <a href=\"https://urlLink.com\" class=\"title\">textTitle</a>" +
        "               </h5>" +
        "           </li>" +
        "       </ul>" +
        "   </div>" +
        "</div>";

    // CommentListItem
    var doc = new HtmlDocument();
    doc.LoadHtml(htmlFragment);

    // get all of the unordered lists where the class is `commentList`
    foreach (var unorderedList in doc.DocumentNode.SelectNodes("//ul[@class='commentList']") ?? new HtmlNodeCollection(doc.DocumentNode))
    {
        // loop all of the list items in this list
        foreach (var listItem in unorderedList.SelectNodes("//li"))
        {
            // get the first DIV with a class of `time`
            var timeNode = listItem.SelectNodes("//div[@class='time']").FirstOrDefault();
            if (timeNode != null)
            {
                var time = timeNode.InnerHtml;
            }

            // get the first anchor tag, nested under a H5 element
            var anchorNode = listItem.SelectNodes("//h5/a").FirstOrDefault();
            if (anchorNode != null)
            {
                var href = ParseAnchorHref(anchorNode);
                var title = ParseAnchorClass(anchorNode);
                var text = anchorNode.InnerText;
            }
        }
    }

    Console.ReadLine();
}

private static string ParseAnchorHref(HtmlNode node) => node.Attributes.Contains("href") ? node.Attributes["href"].Value : string.Empty;

private static string ParseAnchorClass(HtmlNode node) => node.Attributes.Contains("class") ? node.Attributes["class"].Value : string.Empty;
...