Разбор HTML-документа с использованием HtmlAgilityPack - PullRequest
Новая
       7

Разбор HTML-документа с использованием HtmlAgilityPack

1 голос
/ 13 октября 2011

Я пытаюсь проанализировать следующий фрагмент HTML через HtmlAgilityPack: 

<td bgcolor="silver" width="50%" valign="top">
 <table bgcolor="silver" style="font-size: 90%" border="0" cellpadding="2" cellspacing="0"
                                                width="100%">
   <tr bgcolor="#003366">
       <td>
           <font color="white">Info
        </td>
        <td>
           <font color="white">
              <center>Price
                   </td>
                      <td align="right">
                         <font color="white">Hourly
                         </td>
              </tr>
               <tr>
                 <td>
                     <a href='test1.cgi?type=1'>Bookbags</a>
                 </td>
                   <td>
                      $156.42
                    </td>
                    <td align="right">
                        <font color="green">0.11%</font>
                      </td>
                  </tr>
                  <tr>
                    <td>
                       <a href='test2.cgi?type=2'>Jeans</a>
                     </td>
                         <td>
                            $235.92
                               </td>
                                  <td align="right">
                                     <font color="red">100%</font>
                                  </td>
                   </tr>
               </table>
          </td>

Мой код выглядит примерно так: 

private void ParseHtml(HtmlDocument htmlDoc)
{
    var ItemsAndPrices = new Dictionary<string, int>();
   var findItemPrices = from links in htmlDoc.DocumentNode.Descendants()
                             where links.Name.Equals("table") && 
                             links.Attributes["width"].Equals ("100%") && 
                             links.Attributes["bgcolor"].Equals("silver")
                            select new
                                       {
                                           //select item and price
                                       }

В этом случае я хотел бы указать elect the item which are Jeans and Bookbags и связанные с ними prices ниже и сохранить их в словаре. 

E.g Jeans at price $235.92

Кто-нибудь знает, как сделать это правильно с помощью пакета htmlagility и LINQ?

Ответы [ 3 ]

0 голосов
/ 14 октября 2011

Попробуйте это: Решение регулярных выражений: 

  static Dictionary<string, string> GetProduct(string name, string html)
    {
        Dictionary<string, string> output = new Dictionary<string, string>();
        string clfr = @"[\r\n]*[^\r\n]+";
        string pattern = string.Format(@"href='([^']+)'>{0}</a>.*{1}{1}[\r\n]*([^\$][^\r\n]+)", name, clfr);
        Match products = Regex.Match(html, pattern, RegexOptions.Multiline | RegexOptions.IgnorePatternWhitespace);
        if(products.Success) {
            GroupCollection details = products.Groups;
            output.Add("Name", name);
            output.Add("Link", details[1].Value);
            output.Add("Price", details[2].Value.Trim());
            return output;
        }
        return output;
    }

Тогда: 

 var ProductNames = new string[2] { "Jeans", "Bookbags" };
    for (int i = 0, len = ProductNames.Length; i < len; i++)
    {
        var product = GetProduct(ProductNames[i], html);
          if (product.Count != 0)
          {
            Console.WriteLine("{0} at price {1}", product["Name"], product["Price"]);
          }
    }

Выход: 

Jeans at price $235.92
Bookbags at price $156.42

Примечание: Значение Dictionary не может быть int, поскольку $235.92 / $156.42 не является допустимым int. чтобы преобразовать его в действительное значение int, вы можете удалить символ доллара и точки и использовать 

int.Parse()
0 голосов
/ 14 октября 2011

Если предположить, что могут быть другие строки, и вам не нужны только Сумки и джинсы, я бы сделал это так: 

var table = htmlDoc.DocumentNode
    .SelectSingleNode("//table[@bgcolor='silver' and @width='100%']");
var query =
    from row in table.Elements("tr").Skip(1) // skip the header row
    let columns = row.Elements("td").Take(2) // take only the first two columns
        .Select(col => col.InnerText.Trim())
        .ToList()
    select new
    {
        Info = columns[0],
        Price = Decimal.Parse(columns[1], NumberStyles.Currency),
    };
0 голосов
/ 13 октября 2011

Вот что я придумал: 

        var ItemsAndPrices = new Dictionary<string, string>();
        var findItemPrices = from links in htmlDoc.DocumentNode.Descendants("tr").Skip(1)
                             select links;

        foreach (var a in findItemPrices)
        {
            var values = (from tds in a.Descendants("td")
                         select tds.InnerText.Trim()).ToList();

            ItemsAndPrices.Add(values[0], values[1]);
        }

Единственное, что я изменил, это ваш <string, int>, потому что $156.42 не является int

...