Beautiful Soup Unicode кодирует ошибку

Question

Я пытаюсь следующий код с определенным файлом HTML

from BeautifulSoup import BeautifulSoup
import re
import codecs
import sys
f = open('test1.html')
html = f.read()
soup = BeautifulSoup(html)
body = soup.body.contents
para = soup.findAll('p')
print str(para).encode('utf-8')

Я получаю следующую ошибку:

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 9: ordinal not in range(128)

Как мне отладить это?Я не получаю никакой ошибки при удалении функции вызова для печати. ​​

Answer 1

Встроенный str(para) пытается использовать кодировку по умолчанию (ascii) для Unicode в para. Это делается до вызова encode():

>>> s=u'123\u2019'
>>> str(s)
Traceback (most recent call last):
  File "<interactive input>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 3: ordinal not in range(128)
>>> s.encode("utf-8")
'123\xe2\x80\x99'
>>> 

Попробуйте кодировать para напрямую, возможно, применив encode("utf-8") к каждому элементу списка.