Разбор HTML-таблиц с BeautifulSoup - PullRequest
Новая
       17

Разбор HTML-таблиц с BeautifulSoup

5 голосов
/ 16 ноября 2010

Я использовал BeautifulSoup в прошлом, но я столкнулся с чем-то новым;невероятно универсальная / минимальная разметка таблицы HTML ... Моя цель - захватить каждое значение и его метку (у каждого есть свой собственный тд) и распечатать их ... Их можно объединить, мне все равно, я просто хочу сделатьУбедитесь, что каждая метка применяется к правильному значению.Вот пример таблицы: 

<tbody><tr>
<td class="labels">Dawn:</td>
<td class="site_data" style="text-align: left;">07:01</td>
<td class="labels">Sunrise:</td>
<td class="site_data" style="text-align: left;">07:26</td>
<td class="labels">Moonrise:</td>
<td class="site_data" style="text-align: left;">14:29</td>
<td rowspan="3"><img src="images/moon.bmp" alt="Moon" width="64" align="left" border="0" height="64" style="margin: 0px 10px" /></td>
</tr>
<tr>
<td class="labels">Dusk:</td>
<td class="site_data" style="text-align: left;">18:27</td>
<td class="labels">Sunset:&nbsp;</td>
<td class="site_data" style="text-align: left;">18:02</td>
<td class="labels">Moonset:</td>
<td class="site_data" style="text-align: left;">01:55</td>
</tr>
<tr>
<td class="labels">Daylight:</td>
<td class="site_data" style="text-align: left;">11:26</td>
<td class="labels">Day length:</td>
<td class="site_data" style="text-align: left;">10:36</td>
<td class="labels">Moon Phase:</td>
<td class="site_data" style="text-align: left;">Waxing Gibbous</td>
</tr>
</tbody>

Я знаю, как получить эти значения ... 

for td in soup.findAll('table')[0]:  # theres more than one table on the page
    print td.renderContents().strip()

, но это только дает мне .... 

'Dawn:'
'07:01'
'Sunrise:'
'07:26'
'Moonrise:'
'14:29'
'<img src="images/moon.bmp" alt="Moon" width="64" align="left" border="0" height="64" style="margin: 0px 10px" />'
'Dusk:'
'18:27'
'Sunset:&nbsp;'
'18:02'
'Moonset:'
'01:55'
'Daylight:'
'11:26'
'Day length:'
'10:36'
'Moon Phase:'
'Waxing Gibbous'

Полагаю, я мог бы использовать эти значения класса "метки" и "данные_ сайта", но как мне убедиться, что метки и данные сгруппированы правильно?

Ответы [ 2 ]

2 голосов
/ 16 ноября 2010

Следующее должно быть проще и легче следовать: 

import pprint
from BeautifulSoup import BeautifulSoup  
soup = BeautifulSoup(docTxt)
groupedData = []
for row in soup.findAll("tr"):
    data = {}
    allTDs = row.findAll("td")
    for x in range(0, len(allTDs)-1, 2):
        data[allTDs[x].renderContents().strip()] = allTDs[x+1].renderContents().strip()
    groupedData.append(data)

pprint.pprint(groupedData)

выход: 

[{'Dawn:': '07:01', 'Moonrise:': '14:29', 'Sunrise:': '07:26'},
 {'Dusk:': '18:27', 'Moonset:': '01:55', 'Sunset:&nbsp;': '18:02'},
 {'Day length:': '10:36',
  'Daylight:': '11:26',
  'Moon Phase:': 'Waxing Gibbous'}]
2 голосов
/ 16 ноября 2010

Я не эксперт BeautifulSoup, но вы можете попробовать что-то вроде этого: 

for label in soup.findAll('table')[0].findAll('td', attrs={'class' : 'labels'}):
  data_sibs = label.findNextSiblings(attrs={'class' : 'site_data'})
  if len(data_sibs) > 0:
    print label.renderContents().strip() + " " + data_sibs[0].renderContents().strip()

Редактировать:

Протестировано и выдает следующее: 

Dawn: 07:01
Sunrise: 07:26
Moonrise: 14:29

etc..
...