Разбор HTML с использованием HTMLAgilityPack - PullRequest
Новая
       3

Разбор HTML с использованием HTMLAgilityPack

0 голосов
/ 28 ноября 2011

У меня есть следующий HTML-код, который я пытаюсь проанализировать с помощью пакета Agility HTML.

Это фрагмент всего файла, который возвращается кодом: 

<div class="story-body fnt-13 p20-b user-gen">
    <p>text here text here text </p>
    <p>text here text here text text here text here text text here text here text text here text here text </p>
    <div  class="gallery clr bdr aln-c js-no-shadow mod  cld">
        <div>
            <ol>
                <li class="fader-item aln-c ">
                    <div class="imageWrap m10-b">
                       &#8203;<img class="http://www.domain.com/picture.png| " src="http://www.domain.com/picture.png" alt="alt text" />
                    </div>
                    <p class="caption">caption text</p>
                </li>
            </ol>
        </div>
    </div >
    <p>text here text here text text here text here text text here text here text text here text here text </p>
    <p>text here text here text text here text here text text here text here text text here text here text text here text here text </p>
    <p>text here text here text text here text here text text here text here text text here text here text text here text here text </p>
</div>

Я получаю этот фрагмент кода, используя следующее (что я знаю, это грязно) 

string url = "http://www.domain.com/story.html";
var webGet = new HtmlWeb();
var document = webGet.Load(url);

var links = document.DocumentNode
        .Descendants("div")
        .Where(div => div.GetAttributeValue("class", "").Contains("story-body fnt-13 p20-b user-gen")) //
        .SelectMany(div => div.Descendants("p"))
        .ToList();
int cn = links.Count;

HtmlAgilityPack.HtmlNodeCollection tl = document.DocumentNode.SelectNodes("/html[1]/body[1]/div[1]/div[2]/div[1]/div[1]/div[1]/div[2]/div[1]");
foreach (HtmlAgilityPack.HtmlNode node in tl)
{
    textBox1.AppendText(node.InnerText.Trim());
    textBox1.AppendText(System.Environment.NewLine);
}

Код перебирает каждый p и (на данный момент) добавляет его в текстовое поле. Все работает правильно, кроме тега div с классом gallery clr bdr aln-c js-no-shadow mod cld. Результатом этого бита HTML является то, что я получаю текстовые биты &#8203; и заголовок.

Каков наилучший способ опустить это в результатах?

Ответы [ 2 ]

2 голосов
/ 29 ноября 2011

XPATH - твой друг. Попробуйте это и забудьте об этом дерьмовом синтаксисе xlink: -) 

HtmlNodeCollection tl = document.DocumentNode.SelectNodes("//p[not(@*)]");
foreach (HtmlAgilityPack.HtmlNode node in tl)
{
    Console.WriteLine(node.InnerText.Trim());
}

Это выражение выберет все узлы P, для которых не установлены никакие атрибуты. Смотрите другие примеры здесь: Синтаксис XPath

1 голос
/ 29 ноября 2011

Не совсем понятно, о чем вы спрашиваете.Я думаю вы спрашиваете, как получить только прямых потомков определенного div.Если это так, используйте ChildNodes вместо Descendants.То есть: 

.SelectMany(div => div.ChildNodes().Where(n => n.Name == "p"))

Проблема в том, что Descendants выполняет полностью рекурсивный обход дерева документов.

...