Изящно восстановиться после ошибки разбора в экспате - PullRequest
Новая
       36

Изящно восстановиться после ошибки разбора в экспате

2 голосов
/ 21 марта 2011

XML должен быть строгим, поэтому существуют некоторые символы Юникода, которые не разрешены в XML.Однако я пытаюсь работать с RSS-лентами, которые все равно часто содержат эти символы, и я бы хотел либо избежать разбора ошибок по недействительным символам, либо изящно восстановить их и в любом случае представить документ.

См. Примерздесь (во всяком случае, 21 марта): http://feeds.feedburner.com/chrisblattman

Каков рекомендуемый способ обработки юникода в канале XML?Обнаружить символы и подставить их в нулевые байты, отредактировать синтаксический анализатор или каким-либо другим способом?

Ответы [ 2 ]

4 голосов
/ 21 марта 2011

Похоже, что RSS-лента содержала символ вертикальной табуляции \x0c, что недопустимо в спецификации XML 1.0 .

Мой совет - отфильтровать недопустимые символы перед передачей данных.экспатриировать, а не пытаться ловить ошибки и восстанавливаться.Вот процедура, чтобы отфильтровать символы Unicode, которые являются недопустимыми.Я проверил это на вашем chrisblattman.xml RSS-канале: 

import re
from xml.parsers import expat

# illegal XML 1.0 character ranges
# See http://www.w3.org/TR/REC-xml/#charsets
XML_ILLEGALS = u'|'.join(u'[%s-%s]' % (s, e) for s, e in [
    (u'\u0000', u'\u0008'),             # null and C0 controls
    (u'\u000B', u'\u000C'),             # vertical tab and form feed
    (u'\u000E', u'\u001F'),             # shift out / shift in
    (u'\u007F', u'\u009F'),             # C1 controls
    (u'\uD800', u'\uDFFF'),             # High and Low surrogate areas
    (u'\uFDD0', u'\uFDDF'),             # not permitted for interchange
    (u'\uFFFE', u'\uFFFF'),             # byte order marks
    ])

RE_SANITIZE_XML = re.compile(XML_ILLEGALS, re.M | re.U)

# decode, filter illegals out, then encode back to utf-8
data = open('chrisblattman.xml', 'rb').read().decode('utf-8')
data = RE_SANITIZE_XML.sub('', data).encode('utf-8')

pr = expat.ParserCreate('utf-8')
pr.Parse(data)

Обновление : Вот страница Википедии о достоверности символов XML.Мое регулярное выражение выше фильтрует диапазон управления C1, но вы можете разрешить эти символы в зависимости от вашего приложения.

1 голос
/ 21 марта 2011

Вы можете попробовать Beautiful Soup , который может анализировать документы HTML / XML, даже если они плохо сформированы.

...