MongoDB: ошибки при вставке документа с использованием mongoimport

Question

Я пытаюсь вставить огромный (~ 831M) файл в коллекцию mongo, используя mongoimport

/Library/mongodb/bin/mongoimport --port 12345 -d staging -c collection < out.all.1

и видите некоторые ошибки, такие как

exception:Failure parsing JSON string near: , 'Custome

и бывают случаи, когда я обнаруживаю странные символы

'CustomerCity': u'Wall \xa0'
'CustomerCity': u'La Ca\xc3\xb1ada Flintridge'
'CustomerCity': u'La Ca\xf1ada Flintridge'

Как мне решить эти проблемы?

Спасибо

Answer 1

Я столкнулся с подобной проблемой, когда mongoimport выдавал ошибки о символах не-UTF8 в плоском файле, который я попросил импортировать.Этот поток групп Google побудил меня попытаться поместить мой файл с исходными данными через iconv в командной строке Unix, чтобы «исправить» символы не-UTF-8, таким образом:

iconv -f ISO-8859-1 -t UTF-8 inputfile.txt > outputfile.txt

Это решилопроблема для меня.Интересно, поможет ли вам такой подход?Хотя ошибка, с которой вы сталкиваетесь, отличается, но странные символы мешают синтаксическому анализу JSON, не так ли?

Интересно, однако, как эти странные символы попадают в ваши выходные данные, если выгенерировать это самостоятельно.Возможно, вы могли бы отфильтровать код, который генерирует вывод?