Монгоимпорт пропускает первую строку

Question

При использовании mongoimport я столкнулся со странным поведением. Похоже, что пропускается первая строка файла импорта JSON. Я не видел упоминаний о заголовках для JSON, и вставка пустой первой строки все еще приводит к той же проблеме.

Я использую CentOS, а MongoImport и БД версии 2.0.0

Данные, которые я пытаюсь импортировать, содержат японские символы. Это немного длинно, но вот 3 строки, которые я пытался импортировать. Я надеюсь, что здесь можно публиковать сообщения, если в самих данных есть проблема, которая вызывает ошибку.

{ "NICT-ATR" : { "A" : { "adequacy" : 3, "fluency" : 4 }, "B" : { "adequacy" : 3, "fluency" : 3 }, "C" : { "adequacy" : 4, "fluency" : 2 }, "output" : "図１２を参照して、本発明の第三実施例に説明説明次に、。" }, "NTT" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "次に、 図 12 を参照して、 本発明の第 3 の実施例について説明する。" }, "_id" : { "$oid" : "4ed3428a7f7130fdf093a41d" }, "english" : "Next, explanation will be given on a third embodiment of the present invention, by referring to FIG. 12.", "id" : "20000523-155948-EMBODIMENTS-73", "kuro" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "次に、本発明の第３の実施例について１２図である参照して説明する。" }, "moses" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "次に 、 図 １２ を 参照 し て 、 本 発明 の 第 ３ 実施 例 について 説明 する 。 " }, "ref" : "次に、本発明の第３実施例を図１２用いて説明する。", "tsbmt" : { "A" : { "adequacy" : 4, "fluency" : 4 }, "B" : { "adequacy" : 4, "fluency" : 3 }, "C" : { "adequacy" : 4, "fluency" : 4 }, "output" : "次に、説明は図１２の参照から本発明の３番めの実施例上で与えられるだろう。" } }
{ "NICT-ATR" : { "A" : { "adequacy" : 4, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 4 }, "C" : { "adequacy" : 4, "fluency" : 3 }, "output" : "印字機構は、感光体ドラム１１が設けられている。" }, "NTT" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "プリント機構は、 感光体ドラム 11 を備えている。" }, "_id" : { "$oid" : "4ed3428b7f7130fdf093a819" }, "english" : "The printing mechanism comprises the photosensitive drum 11.", "id" : "19990621-173924-EMBODIMENTS-11", "kuro" : { "A" : { "adequacy" : 4, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 4 }, "C" : { "adequacy" : 1, "fluency" : 2 }, "output" : "印刷機構は、感光体ドラム１１配置構成されている。" }, "moses" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "プリント 機構 は 、 感光 体 ドラム １１ を 備え て いる 。 " }, "ref" : "プリント機構は、感光体ドラム１１を備えている。", "tsbmt" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 4, "fluency" : 3 }, "output" : "印字機構は感光性のドラム１１を含む。" } }
{ "NICT-ATR" : { "A" : { "adequacy" : 4, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 4 }, "C" : { "adequacy" : 4, "fluency" : 3 }, "output" : "図２５は、インデックスコーナー。" }, "NTT" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 4 }, "output" : "インデックスコーナを図 25 に示す。" }, "_id" : { "$oid" : "4ed3428b7f7130fdf093a6c9" }, "english" : "FIG. 25 shows the index corner.", "id" : "19990630-184545-EMBODIMENTS-234", "kuro" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 3 }, "output" : "インデックスコーナー図２５示す。" }, "moses" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "インデックス コーナ 部 を 図 ２５ に 示す 。 " }, "ref" : "図２５に、インデックスコーナーを示している。", "tsbmt" : { "A" : { "adequacy" : 5, "fluency" : 5 }, "B" : { "adequacy" : 5, "fluency" : 5 }, "C" : { "adequacy" : 5, "fluency" : 5 }, "output" : "図２５はインデックス・コーナーを示す。" } }

Первая строка никогда не импортируется. Я пытался изменить порядок, вставив пустую строку в заголовок, и это всегда первая строка.

Еще более странно, что mongoimport утверждает, что работает правильно, заявив, что импортировал 3 объекта:

$ ./mongoimport --file ~/ribes/ntcir-min.json -c ej --drop
connected to: 127.0.0.1
dropping: test.ej
imported 3 objects

Затем проверка данных в коллекции возвращает только 2 результата:

$ ./mongo
MongoDB shell version: 2.0.0
connecting to: test
> db
test
> db.ej.count()
2

У кого-нибудь есть идеи о том, что это может быть?

Обновление: Добавление пустого объекта JSON в первую строку {} заставляет mongoimport сказать imported 4, но дать правильные выходные данные.

Обновление: Когда я попытался указать db с помощью mongoimport -d ntcir вместо того, чтобы оставить значение по умолчанию test, данные были импортированы правильно. Это ожидаемое поведение?

Answer 1

Я также убедился, что он работает правильно для меня.Это должно быть связано с кодировкой файлов и, возможно, Windows.Как вы создали текстовый файл?

Если вы можете, попробуйте эти инструкции для создания файла UTF-8 в Windows, чтобы мы могли быть уверены, что это не проблема кодировки:

Вы можете сохранить файл с помощью Блокнота (иногда называемого «Редактор») как UTF-8, но не с Wordpad.

1. Открыть Блокнот
2. Вставить текст в новый файл
3. Файл - Сохранить как -> там вы видите 3 поля, в которых последнее поле под названием «кодировка» установлено в: UTF-8

Пожалуйста, дайте мне знать, если это удастся.

Answer 2

попытался воспроизвести на моем ящике копию текста в файл в кодировке UTF-8, запустите команду импорта, и это удалось ...

Разница была в том, что я должен указать -h причина по умолчанию (127.0.0.1) не распознается в моей среде ...

c:\Servers\Mongo\bin>mongoimport.exe --file d:\imp.json -h localhost -c ej --drop
connected to: localhost
dropping: test.ej
imported 3 objects

c:\Servers\Mongo\bin>mongo.exe
MongoDB shell version: 2.0.1
connecting to: test
> db.version()
2.0.1
> db
test
> db.ej.count()
3