UnicodeEncodeError в Прекрасном супе (python 2.7.1) - PullRequest
Новая
       92

UnicodeEncodeError в Прекрасном супе (python 2.7.1)

2 голосов
/ 24 января 2012

Я использую Beautiful Soup 3.2 на python 2.7.1 здесь.

Я недавно пытался заставить что-то простое работать, но это кажется довольно сложным:

Я делаю следующее: 

temp=BeautifulSoup(urllib2.urlopen(urlList[1], None,15))

Однако я получаю сообщение об ошибке: 

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in __init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode character u'\xfa' in
position 4: ordinal not in range(128)

Если я запускаю тот же цикл в другой раз, иногда я также получаю: 

File "/home/foo/k/kat/BeautifulSoup.py", line 1519, in __init__
BeautifulStoneSoup.__init__(self, *args, **kwargs)
File "/home/foo/k/kat/BeautifulSoup.py", line 1144, in
__init__
self._feed(isHTML=isHTML)
File "/home/foo/k/kat/BeautifulSoup.py", line 1186, in _feed
SGMLParser.feed(self, markup)
File "/usr/lib/python2.7/sgmllib.py", line 104, in feed
self.goahead(0)
File "/usr/lib/python2.7/sgmllib.py", line 143, in goahead
k = self.parse_endtag(i)
File "/usr/lib/python2.7/sgmllib.py", line 320, in parse_endtag
self.finish_endtag(tag)
File "/usr/lib/python2.7/sgmllib.py", line 358, in finish_endtag
method = getattr(self, 'end_' + tag)
UnicodeEncodeError: 'ascii' codec can't encode characters in position
4-5: ordinal not in range(128)

Как мне избежать этих ошибок?Очевидно, что-то не так с sgmllib.py.

Я пробовал некоторые решения от SOF:

*] Пробовал soup = BeautifulSoup(page, fromEncoding=<encoding of the page>) Результат: работа с Dosent, те же ошибки.

*] Попытка обновления моего sgmllib.py с версии 2.7.2 до версии 2.7.1. Результат: работа Dosent, те же ошибки.

*] Trial html = BeautifulSoup(page.encode('utf-8')) Результат: работа Dosent, те же ошибки.

Буду признателен за любые предложения по устранению этой ошибки кодирования.

1 Ответ

4 голосов
/ 24 января 2012

попробуйте этот код в вашем модуле 

if __name__ == "__main__":
    reload(sys)
    sys.setdefaultencoding("utf-8")
...