MongoDB - Неожиданные кодировки символов при использовании mongoexport - PullRequest
Новая
       14

MongoDB - Неожиданные кодировки символов при использовании mongoexport

0 голосов
/ 14 февраля 2019

Я использую mongoexport для коллекции, которая содержит иностранные символы, закодированные в utf8, а также поля с символами. Mongoexport, кажется, кодирует (например, '&').Что я заметил, так это то, что mongo export выполняет экранирование юникода для символов «&», но оставляет символы, такие как «ü», без экранирования.Это создает проблему, потому что я пытаюсь прочитать эти данные с использованием Python, но не могу правильно их декодировать, поскольку происходит два разных кодирования.

Например (запрос монго для получения записи): 

db.Military_Handbooks.findOne({_id: ObjectId("5bf61c80e173a2a10b53ad39")}).PRIMARY_AUTHOR

[
  "Dürer, Albrecht",
  [
    [
      "http://ustc.ac.uk/index.php/search/cicero?tm_fulltext=&tm_field_allauthr=Dürer, Albrecht&tm_translator=&tm_editor=&tm_field_short_title=&tm_field_imprint=&tm_field_place=&sm_field_year=&f_sm_field_year=&t_sm_field_year=&sm_field_country=&sm_field_lang=&sm_field_format=&sm_field_digital=&tm_field_class=&tm_field_cit_name=&tm_field_cit_no=&order=",
      " Dürer, Albrecht"
    ]
  ]
]

Выполнение следующей команды mongoexport (и то же самое, если экспортировать в json): 

mongoexport--db ustc --collection Military_Handbooks --type=csv -f=PRIMARY_AUTHOR --limit=1
"[""Dürer, Albrecht"",[[""http://ustc.ac.uk/index.php/search/cicero?tm_fulltext=\u0026tm_field_allauthr=Dürer, Albrecht\u0026tm_translator=\u0026tm_editor=\u0026tm_field_short_title=\u0026tm_field_imprint=\u0026tm_field_place=\u0026sm_field_year=\u0026f_sm_field_year=\u0026t_sm_field_year=\u0026sm_field_country=\u0026sm_field_lang=\u0026sm_field_format=\u0026sm_field_digital=\u0026tm_field_class=\u0026tm_field_cit_name=\u0026tm_field_cit_no=\u0026order="","" Dürer, Albrecht""]]]"

При попытке прочитать это в Python: 

In [24]: import pandas
In [25]: c = pandas.read_csv('Military_Handbooks2.csv')
In [26]: c.at[1, 'PRIMARY_AUTHOR']
Out[26]: '["Dürer, Albrecht",[["http://ustc.ac.uk/index.php/search/cicero?tm_fulltext=\\u0026tm_field_allauthr=Dürer, Albrecht\\u0026tm_translator=\\u0026tm_editor=\\u0026tm_field_short_title=\\u0026tm_field_imprint=\\u0026tm_field_place=\\u0026sm_field_year=\\u0026f_sm_field_year=\\u0026t_sm_field_year=\\u0026sm_field_country=\\u0026sm_field_lang=\\u0026sm_field_format=\\u0026sm_field_digital=\\u0026tm_field_class=\\u0026tm_field_cit_name=\\u0026tm_field_cit_no=\\u0026order="," Dürer, Albrecht"]]]'
In [27]: c.at[1, 'PRIMARY_AUTHOR'].encode().decode('unicode-escape')
Out[27]: '["Dürer, Albrecht",[["http://ustc.ac.uk/index.php/search/cicero?tm_fulltext=&tm_field_allauthr=Dürer, Albrecht&tm_translator=&tm_editor=&tm_field_short_title=&tm_field_imprint=&tm_field_place=&sm_field_year=&f_sm_field_year=&t_sm_field_year=&sm_field_country=&sm_field_lang=&sm_field_format=&sm_field_digital=&tm_field_class=&tm_field_cit_name=&tm_field_cit_no=&order="," Dürer, Albrecht"]]]'

Спецификации:
ОС: Ubuntu 18.04.1 LTS
Python: 3.6.7
Версия оболочки MongoDB v3.6.9

1 Ответ

0 голосов
/ 18 февраля 2019

В конце концов, перекодирование файлов при игнорировании ошибок, похоже, помогло. 

def encoding():
    for fn in os.listdir('.'):
        if '2' not in fn and 'failed' not in fn and 'decode' not in fn:
            try:
                with codecs.open(fn, encoding='utf-8') as fd:
                    text = fd.read()
                    text = text.encode('Windows-1252', errors='ignore').decode('utf-8', errors='ignore')
                with codecs.open(fn[:fn.rfind('.')]+'2.csv', 'w', encoding='utf-8') as fd:
                        fd.write(text)
            except Exception as ex:
                print(ex)
                print('*'*50, '\n')

Следует также отметить, что я был связан с этим сообщением, которое было полезно: как экспортироватьправильно акцентированные слова с mongoexport .

...