Использование Apache NiFi для записи файлов CSV по содержимому столбца - PullRequest
0 голосов
/ 02 октября 2018

У меня есть поток Apache NiFi, где я читаю в массивном файле .csv.Вот пример .csv:

school, date, city
Vanderbilt, xxxx, xxxx
Georgetown, xxxx, xxxx
Duke, xxxx, xxxx
Vanderbilt, xxxx, xxxx

Я хочу использовать NiFi для чтения файла, а затем вывести еще один .csv файл с именем school.Т.е. будет .csv файл из двух Vanderbilt записей (всего две строки, б / к две записи), и один файл для Georgetown, и один файл для Duke.

IЯ использовал GetFile для рисования в моем файле (работает, проверено), а затем SplitText (количество разделений строк = 1 и количество строк заголовков = 1), а затем ExtractText, но у меня очень неправильная конфигурация ввон тот.Наконец, у меня есть PutFile, который пишет туда, куда мне нужно.Благодаря.

1 Ответ

0 голосов
/ 02 октября 2018

Взгляните на возможности обработки записей NiFi, вы захотите использовать PartitionRecord для разбиения на школьные поля, что даст именно то, что вы описываете.

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.7.1/org.apache.nifi.processors.standard.PartitionRecord/index.html

...