np.save не может кодировать символы Юникода - PullRequest
0 голосов
/ 01 октября 2018

У меня есть массив пустых записей, который заполнен столбцами с символами Unicode. Когда я пытаюсь запустить np.save, он не работает и использует кодировку 'latin-1'

Failure to write pandas [] to memory: 'latin-1' codec can't encode character '\u272a' in position 3070: ordinal not in range(256)
Traceback (most recent call last):
  File "D:\WindowsDocuments\GitHub\ReplayAnalysis\carball\analysis\utils\numpy_manager.py", line 30, in convert_numpy_array
    np.save(compressed_array, numpy_array, allow_pickle=True, fix_imports=False)
  File "C:\Users\David Windows\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\npyio.py", line 521, in save
    pickle_kwargs=pickle_kwargs)
  File "C:\Users\David Windows\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\format.py", line 572, in write_array
    version)
  File "C:\Users\David Windows\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\lib\format.py", line 315, in _write_array_header
    header = asbytes(_filter_header(header))
  File "C:\Users\David Windows\AppData\Local\Programs\Python\Python36\lib\site-packages\numpy\compat\py3k.py", line 35, in asbytes
    return str(s).encode('latin1')
UnicodeEncodeError: 'latin-1' codec can't encode character '\u272a' in position 3070: ordinal not in range(256)

Похоже, этопроблема при травлении.Есть ли способ заставить np.save работать с использованием UTF-8?

Я не хочу использовать save txt, потому что размер имеет значение, поэтому предпочтителен двоичный формат.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...