Как мне разобрать таблицу HTML с Nokogiri? - PullRequest
Новая
       29

Как мне разобрать таблицу HTML с Nokogiri?

34 голосов
/ 14 января 2010

Я установил Ruby и Mechanize. Мне кажется, что в Нокогири возможно делать то, что я хочу, но я не знаю, как это сделать.

А как насчет table? Это всего лишь часть HTML сайта форума vBulletin. Я пытался сохранить структуру HTML, но удалил некоторые атрибуты текста и тегов. Я хочу получить некоторые детали для каждой темы, такие как: название, автор, дата, время, ответы и просмотры.

Обратите внимание, что в документе HTML мало таблиц? Я за одной конкретной таблицей с tbody, <tbody id="threadbits_forum_251">. Имя будет всегда одинаковым (я надеюсь). Могу ли я использовать tbody и name в коде? 

<table >
  <tbody>
    <tr>  <!-- table header --> </tr>
  </tbody>
  <!-- show threads -->
  <tbody id="threadbits_forum_251">
    <tr>
      <td></td>
      <td></td>
      <td>
        <div>
          <a href="showthread.php?t=230708" >Vb4 Gold Released</a>
        </div>
        <div>
          <span><a>Paul M</a></span>
        </div>
      </td>
      <td>
          06 Jan 2010 <span class="time">23:35</span><br />
          by <a href="member.php?find=lastposter&amp;t=230708">shane943</a> 
        </div>
      </td>
      <td><a href="#">24</a></td>
      <td>1,320</td>
    </tr>

  </tbody>
</table>

1 Ответ

54 голосов
/ 14 января 2010 
#!/usr/bin/ruby1.8

require 'nokogiri'
require 'pp'

html = <<-EOS
  (The HTML from the question goes here)
EOS

doc = Nokogiri::HTML(html)
rows = doc.xpath('//table/tbody[@id="threadbits_forum_251"]/tr')
details = rows.collect do |row|
  detail = {}
  [
    [:title, 'td[3]/div[1]/a/text()'],
    [:name, 'td[3]/div[2]/span/a/text()'],
    [:date, 'td[4]/text()'],
    [:time, 'td[4]/span/text()'],
    [:number, 'td[5]/a/text()'],
    [:views, 'td[6]/text()'],
  ].each do |name, xpath|
    detail[name] = row.at_xpath(xpath).to_s.strip
  end
  detail
end
pp details

# => [{:time=>"23:35",
# =>   :title=>"Vb4 Gold Released",
# =>   :number=>"24",
# =>   :date=>"06 Jan 2010",
# =>   :views=>"1,320",
# =>   :name=>"Paul M"}]
...