Пожалуйста, помогите разобрать эту HTML-таблицу с помощью BeautifulSoup и lxml по-питонски - PullRequest
Новая
       29

Пожалуйста, помогите разобрать эту HTML-таблицу с помощью BeautifulSoup и lxml по-питонски

0 голосов
/ 21 января 2011

Я много искал о BeautifulSoup, и некоторые предложили lxml как будущее BeautifulSoup, хотя это имеет смысл, мне трудно разобрать следующую таблицу из всего списка таблиц на веб-странице.

Меня интересуют три столбца с различным количеством строк в зависимости от страницы и времени ее проверки.Решение BeautifulSoup и lxml приветствуется.Таким образом, я могу попросить администратора установить lxml на dev.machine.

Желаемый вывод: 

Website                    Last Visited          Last Loaded
http://google.com          01/14/2011 
http://stackoverflow.com   01/10/2011
...... more if present

Ниже приведен пример кода с грязной веб-страницы: 

<table border="2" width="100%">
  <tbody><tr>
    <td width="33%" class="BoldTD">Website</td>
    <td width="33%" class="BoldTD">Last Visited</td>
    <td width="34%" class="BoldTD">Last Loaded</td>
  </tr>
  <tr>
    <td width="33%">
      <a href="http://google.com"</a>
    </td>
    <td width="33%">01/14/2011
            </td>
    <td width="34%">
            </td>
  </tr>
  <tr>
    <td width="33%">
      <a href="http://stackoverflow.com"</a>
    </td>
    <td width="33%">01/10/2011
            </td>
    <td width="34%">
            </td>
  </tr>
</tbody></table>

Ответы [ 3 ]

4 голосов
/ 21 января 2011 
>>> from lxml import html
>>> table_html = """"
...         <table border="2" width="100%">
...                       <tbody><tr>
...                         <td width="33%" class="BoldTD">Website</td>
...                         <td width="33%" class="BoldTD">Last Visited</td>
...                         <td width="34%" class="BoldTD">Last Loaded</td>
...                       </tr>
...                       <tr>
...                         <td width="33%">
...                           <a href="http://google.com"</a>
...                         </td>
...                         <td width="33%">01/14/2011
...                                 </td>
...                         <td width="34%">
...                                 </td>
...                       </tr>
...                       <tr>
...                         <td width="33%">
...                           <a href="http://stackoverflow.com"</a>
...                         </td>
...                         <td width="33%">01/10/2011
...                                 </td>
...                         <td width="34%">
...                                 </td>
...                       </tr>
...                     </tbody></table>"""
>>> table = html.fromstring(table_html)
>>> for row in table.xpath('//table[@border="2" and @width="100%"]/tbody/tr'):
...     for column in row.xpath('./td[position()=1]/a/@href | ./td[position()>1]/text() | self::node()[position()=1]/td/text()'):
...             print column.strip(),
...     print
... 
Website Last Visited Last Loaded
 http://google.com 01/14/2011 
 http://stackoverflow.com 01/10/2011 
>>>

вуаля;) конечно, вместо печати вы можете добавлять свои значения во вложенные списки или вложения;)

3 голосов
/ 21 января 2011

Вот версия, которая использует elementtree и ограниченный XPath, который она предоставляет: 

from xml.etree.ElementTree import ElementTree

doc = ElementTree().parse('table.html')

for t in doc.findall('.//table'):
  # there may be multiple tables, check we have the right one
  if t.find('./tbody/tr/td').text == 'Website':
    for tr in t.findall('./tbody/tr/')[1:]: # skip the header row
      tds = tr.findall('./td')
      print tds[0][0].attrib['href'], tds[1].text.strip(), tds[2].text.strip()

Результаты: 

http://google.com 01/14/2011
http://stackoverflow.com 01/10/2011
2 голосов
/ 26 января 2011

Вот версия, которая использует HTMLParser.Я пытался против содержимого pastebin.com / tu7dfeRJ .Он справляется с мета-тэгом и объявлением doctype, оба из которых сорвали версию ElementTree. 

from HTMLParser import HTMLParser

class MyParser(HTMLParser):
  def __init__(self):
    HTMLParser.__init__(self)
    self.line = ""
    self.in_tr = False
    self.in_table = False

  def handle_starttag(self, tag, attrs):
    if self.in_table and tag == "tr":
      self.line = ""
      self.in_tr = True
    if tag=='a':
     for attr in attrs:
       if attr[0] == 'href':
         self.line += attr[1] + " "

  def handle_endtag(self, tag):
    if tag == 'tr':
      self.in_tr = False
      if len(self.line):
        print self.line
    elif tag == "table":
      self.in_table = False

  def handle_data(self, data):
    if data == "Website":
      self.in_table = 1
    elif self.in_tr:
      data = data.strip()
      if data:
        self.line += data.strip() + " "

if __name__ == '__main__':
  myp = MyParser()
  myp.feed(open('table.html').read())

Надеюсь, это решит все, что вам нужно, и вы можете принять это как ответ.Обновлено по запросу.

...