Как слить разделенный Json в Apache Nifi - PullRequest
0 голосов
/ 03 мая 2019

Привет. Я делю файлы Json разного размера от 2 до 3 ГБ.
Как настроить процессор «Слияние контента» таким образом, чтобы он имел исходный файл?
Я сталкиваюсь с проблемой наличия нескольких частей одного и того же файла потока после выполнения слияния, возможно, я неправильно устанавливаю пределы.
Вы знаете, как решить эту проблему?
Я сосредоточен на этих свойствах:

-Минимальное количество записей
-Максимальное количество заявок
Минимальный размер группы
-Максимальный размер группы

1 Ответ

2 голосов
/ 03 мая 2019

Чтобы восстановить разделенный файл, вам нужно использовать MergeContent в режиме дефрагментации.Я полагаю, что это игнорирует все свойства entry и size и просто использует атрибуты «фрагмента», которые были помещены в каждый файл потока процессором разделения, и объединяет все фрагменты вместе.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...