Groovy скрипт для объединения тысяч потоковых файлов в один потоковый файл - PullRequest
0 голосов
/ 27 марта 2019

Я получаю тысячи потоковых файлов от процессора RouteToAttribute, и прежде чем записать их в HDFS, я хочу объединить их в один файл.

Конфигурация записи слияния, которую я использую

Я хочу получить данные этих файлов в формате Json, объединить их в один файл json и отправить в процессор WriteToHDFS. MergeRecord не в состоянии служить цели, поэтому я пытаюсь сделать это с groovy, но я новичок в groovy, поэтому не могу взломать его. Может кто-нибудь предложить, пожалуйста.

...