Преобразование файлов pickle в csv дает обычные ошибки UnicodeEncodeErrors - PullRequest
Новая
       20

Преобразование файлов pickle в csv дает обычные ошибки UnicodeEncodeErrors

0 голосов
/ 18 октября 2018

Я скачал полный набор данных Reuters и сгенерировал файлы pkl.Использование сценария ('dump_to_csv.py') в командной строке Windows 10 для преобразования файлов pkl в csv работает до определенного момента, но время от времени (слишком много раз для удобства) выдает ошибку, теперь кодЯ использую (из репозитория GitHub) был обновлен для исправления ошибок в Python 3, однако ошибки все еще возникают (по крайней мере для меня).Использование Python 3.6.4 в Windows 10-Pro (64-разрядная версия).Код для файла «dump_to_csv.py» находится здесь https://github.com/philipperemy/Reuters-full-data-set/blob/master/dump_to_csv.py

Все ошибки очень похожи, например: 

Traceback (most recent call last):
  File "dump_to_csv.py", line 41, in <module>
    read(sys.argv[1])
  File "dump_to_csv.py", line 34, in read
    w.write(line)
  File "C:\Users\...\AppData\Local\Programs\Python\Python36\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 31-47: character maps to <undefined>

Спасибо за любую помощь.

...