python- это Beautifulsoup неверно сообщает мой HTML? - PullRequest
Новая
       11

python- это Beautifulsoup неверно сообщает мой HTML?

2 голосов
/ 01 мая 2009

Насколько мне известно, у меня есть две машины, каждая из которых работает под управлением Python 2.5 и BeautifulSoup 3.1.0.1.

Я пытаюсь очистить http://utahcritseries.com/RawResults.aspx,, используя: 

from BeautifulSoup import BeautifulSoup
import urllib2

base_url = "http://www.utahcritseries.com/RawResults.aspx"

data=urllib2.urlopen(base_url)
soup=BeautifulSoup(data)
i = 0
table=soup.find("table",id='ctl00_ContentPlaceHolder1_gridEvents')
#table=soup.table
print "begin table"
for row in table.findAll('tr')[1:10]:
    i=i + 1
    col = row.findAll('td')
    date = col[0].string
    event = col[1].a.string
    confirmed = col[2].string
    print '%s - %s' % (date, event)
print "end table"
print "%s rows processed" % i

На моем компьютере с Windows я получаю правильный результат - список дат и имен событий. На моем Mac я не. вместо этого я получаю 

3/2/2002 - Rocky Mtn Raceway Criterium
None - Rocky Mtn Raceway Criterium
3/23/2002 - Rocky Mtn Raceway Criterium
None - Rocky Mtn Raceway Criterium
4/2/2002 - Rocky Mtn Raceway Criterium
None - Saltair Time Trial
4/9/2002 - Rocky Mtn Raceway Criterium
None - DMV Criterium
4/16/2002 - Rocky Mtn Raceway Criterium

Что я замечаю, так это то, что когда я 

print row

на моем компьютере с Windows данные tr выглядят точно так же, как и исходный HTML. Обратите внимание на тег стиля во второй строке таблицы. Вот первые две строки: 

<tr>
<td>
 3/2/2002
</td>
<td>
 <a href="Event.aspx?id=226">
  Rocky Mtn Raceway Criterium
 </a>
</td>
<td>
 Confirmed
</td>
<td>
 <a href="Event.aspx?id=226">
  Points
 </a>
</td>
<td>
 <a disabled="disabled">
  Results
 </a>
</td>
</tr>

<tr style="color:#333333;background-color:#EFEFEF;">
<td>
 3/16/2002
</td>
<td>
 <a href="Event.aspx?id=227">
  Rocky Mtn Raceway Criterium
 </a>
</td>
<td>
 Confirmed
</td>
<td>
 <a href="Event.aspx?id=227">
  Points
 </a>
</td>
<td>
 <a disabled="disabled">
  Results
 </a>
</td>
</tr>

На моем Mac при печати первых двух строк информация о стиле удаляется из тега tr и перемещается в каждое поле td. Я не понимаю, почему это происходит. Я получаю None для каждого другого значения даты, потому что BeautifulSoup помещает тег шрифта вокруг каждой другой даты. Вот вывод Mac: 

<tr>
<td>
 3/2/2002
</td>
<td>
 <a href="Event.aspx?id=226">
  Rocky Mtn Raceway Criterium
 </a>
</td>
<td>
 Confirmed
</td>
<td>
 <a href="Event.aspx?id=226">
  Points
 </a>
</td>
<td>
 <a disabled="disabled">
  Results
 </a>
</td>
</tr>

<tr bgcolor="#EFEFEF">
<td>
 <font color="#333333">
  3/16/2002
 </font>
</td>
<td>
 <font color="#333333">
  <a href="Event.aspx?id=227">
   Rocky Mtn Raceway Criterium
  </a>
 </font>
</td>
<td>
 <font color="#333333">
  Confirmed
 </font>
</td>
<td>
 <font color="#333333">
  <a href="Event.aspx?id=227">
   Points
  </a>
 </font>
</td>
<td>
 <font color="#333333">
  <a disabled="disabled">
   Results
  </a>
 </font>
</td>
</tr>

Мой скрипт отображает правильный результат под Windows - что мне нужно сделать, чтобы мой Mac работал правильно?

Ответы [ 2 ]

2 голосов
/ 01 мая 2009

Есть задокументированные проблемы с версией 3.1 BeautifulSoup.

Возможно, вы захотите дважды проверить, какую версию вы на самом деле используете, и, если это так, понизить рейтинг.

1 голос
/ 01 мая 2009

Я подозреваю, что проблема в запросе urlib2, а не в BeautifulSoup:

Может помочь, если вы покажете нам тот же раздел необработанных данных, который был возвращен этой командой на обеих машинах: 

urllib2.urlopen(base_url)

Эта страница может помочь: http://bytes.com/groups/python/635923-building-browser-like-get-request

Возможно, самое простое решение - просто определить, в какой среде работает скрипт, и соответствующим образом изменить логику синтаксического анализа. 

>>> import os
>>> os.uname() 
('Darwin', 'skom.local', '9.6.0', 'Darwin Kernel Version 9.6.0: Mon Nov 24 17:37:00 PST 2008; root:xnu-1228.9.59~1/RELEASE_I386', 'i386')

Или попросите Microsoft использовать веб-стандарты:)

Кроме того, разве вы не использовали механизм для извлечения страниц? Если так, проблема может быть там.

...