Могу ли я экспортировать все свои документы JSON из коллекции в CSV-файл в Marklogic?

Question

В моей базе данных миллионы документов из разных коллекций. Мне нужно экспортировать их в CSV на локальное хранилище, когда я укажу имя коллекции.

Я попытался экспортировать mlcp, но ничего не вышло. Мы не можем использовать corb для этого из-за некоторых проблем.

Я хочу, чтобы csv был в таком формате, чтобы при попытке импорта mlcp я смог восстановить все документы так, как они были.

Answer 1

Моей первой мыслью было бы использовать функцию архивирования MLCP и вообще не экспортировать в CSV.

Если вы действительно хотите CSV, Corb2 будет моей первой мыслью. Он обеспечивает функциональность экспорта CSV из коробки. Возможно, стоит разобраться, почему это не сработало для вас.

DMSDK тоже может работать, но включает в себя написание кода, который обрабатывает написание CSV, что для меня звучит громоздко.

Последним вариантом, который приходит на ум, будет Apache NiFi, для которого существуют различные процессоры MarkLogic . Это позволяет управлять потоком данных очень обобщенно. Хотя это может быть довольно излишним для вашей цели.

НТН!

Answer 2

ml-gradle поддерживает экспорт документов и ссылки на преобразование, которое может преобразовывать каждый документ в CSV - https://github.com/marklogic-community/ml-gradle/wiki/Exporting-data#exporting-data-to-csv.

Если все ваши документы не плоские, вам, вероятно, понадобится некоторый пользовательский код, чтобы определить, как отобразить иерархический документ в плоскую строку.Таким образом, преобразование REST является разумным решением.

Вы также можете использовать шаблон TDE для проецирования ваших документов в строки, и конечная точка / v1 / row может возвращать результаты в виде CSV.Это, конечно, требует создания и загрузки шаблона TDE, а затем ожидания повторной индексации соответствующих документов.