Как исправить несовместимый HTML, чтобы Expat его проанализировал (htmltidy не работает) - PullRequest
1 голос
/ 29 ноября 2009

Я пытаюсь собрать информацию из http://www.nfl.com/scores (в частности, узнать, когда игра закончилась, чтобы мой компьютер мог прекратить ее запись). Я могу достаточно легко загрузить HTML, и он заявляет о соответствии стандартам:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">

Но

  1. Попытка разобрать его с помощью Expat приводит к ошибке not well-formed (invalid token).

  2. Онлайн-сервис проверки W3C сообщает о 399 ошибках и 121 предупреждении.

  3. Я попытался запустить HTML tidy (просто называется tidy) в моей системе Linux с параметром -xml, но tidy сообщает о 56 предупреждениях и 117 ошибках и не может восстановить хороший файл XML. Ошибки выглядят так:

    line 409 column 122 - Warning: unescaped & or unknown entity "&role"
    ...
    line 409 column 172 - Warning: unescaped & or unknown entity "&tabSeq"
    ...
    line 1208 column 65 - Error: unexpected </td> in <br>
    line 1209 column 57 - Error: unexpected </tr> in <br>
    line 1210 column 49 - Error: unexpected </table> in <br>
    

    Но когда я проверяю ввод, «неизвестные сущности» кажутся частью правильно цитируемого URL, поэтому я не знаю, отсутствует ли двойная кавычка где-то или что.

Я знаю, что есть что-то , которое может проанализировать этот материал, потому что и Firefox, и w3m показывают что-то разумное. Какой инструмент исправит несовместимый HTML, чтобы я мог его проанализировать с помощью Expat?

Ответы [ 3 ]

4 голосов
/ 29 ноября 2009

Они используют какой-то Javascript на полях для подсчета очков, так что вам придется играть более умные трюки (разрывы строки мои):

/* box of awesome */
// iscurrentweek ? true;
(new nfl.scores.Game('2009112905','54635',{state:'pre',container:'scorebox-2009112905',
wrapper:'sb-wrapper-2009112905',template:($('scorebox-2009112905').innerHTML),homeabbr:'NYJ',
awayabbr:'CAR'}));

Однако, чтобы ответить на ваш вопрос, BeautifulSoup анализирует его (на первый взгляд) нормально:

fp = urlopen("http://www.nfl.com/scores")
data = ""
while 1:
    r = fp.read()
    if not r:
        break
    data += r
fp.close()

soup = BeautifulSoup(data)
print soup.contents[2].contents[1].contents[1]

Выходы:

<title>NFL Scores: 2009 - Week 12</title>

Может быть, легче поцарапать Табло Yahoo NFL , на мой взгляд ... на самом деле, прочь попробовать.


РЕДАКТИРОВАТЬ: Использовал ваш вопрос в качестве предлога, чтобы приступить к изучению BeautifulSoup. Алекс Мартелли поет эту похвалу, поэтому я решил, что стоит попробовать - чувак, я впечатлен.

Во всяком случае, мне удалось приготовить элементарный скребок из Yahoo! Табло, вот так:

def main():
    soup = BeautifulSoup(YAHOO_SCOREBOARD)
    on_first_team = True
    scores = []
    hold = None

    # Iterate the tr that contains a team's box score
    for item in soup(name="tr", attrs={"align": "center", "class": "ysptblclbg5"}):
        # Easy
        team = item.b.a.string

        # Get the box scores since we're industrious
        boxscore = []
        for quarter in item(name="td", attrs={"class": "yspscores"}):
            boxscore.append(int(quarter.string))

        # Final score
        sub = item(name="span", attrs={"class": "yspscores"})[0]
        if sub.b:
            # Winning score
            final = int(sub.b.string)
        else:
            data = sub.string.replace("&nbsp;", "")
            if ":" in data:
                # Catch TV: XXX and 0:00pm ET
                final = None
            else:
                try: final = int(data)
                except: final = None

        if on_first_team:
            hold = { team : (boxscore, final) }
            on_first_team = False
        else:
            hold[team] = (boxscore, final)
            scores.append(hold)
            on_first_team = True

    for game in scores:
        print "--- Game ---"
        for team in game:
            print team, game[team]

Я бы настроил это в воскресенье, чтобы посмотреть, как это работает, поскольку это действительно грубо. Вот что он выводит на данный момент:

--- Game ---
Green Bay ([0, 13, 14, 7], 34)
Detroit ([7, 0, 0, 5], 12)
--- Game ---
Oakland ([0, 0, 7, 0], 7)
Dallas ([3, 14, 0, 7], 24)

Посмотрите на это, я тоже поймал счеты в боксах ... для игры, которая еще не произошла, мы получаем:

--- Game ---
Washington ([], None)
Philadelphia ([], None)

Во всяком случае, привязка для вас прыгать с. Удачи.

3 голосов
/ 29 ноября 2009

В верхней части nfl.com есть функция автообновления на основе Flash. Некоторый мониторинг его сетевого трафика находит:

http://www.nfl.com/liveupdate/scorestrip/ss.xml

Это, вероятно, будет немного легче разобрать, чем табло HTML.

2 голосов
/ 29 ноября 2009

Посмотрите на теги . Если вы хотите получить дерево DOM или SAX-поток в Java, это билет. Если вы просто хотите извлечь конкретную информацию, Beautiful Soup - это красивая вещь.

...