подсчет запущенных записей от процессора SplitRecord Nifi

Question

Есть ли способ получить индекс фрагмента от процессора SplitRecord Nifi?Я делю очень большие xls (4-миллионные записи) на «Records Per Split» = 100000.

Теперь я хочу просто обработать первые 2 разделения, чтобы увидеть качество файла и отклонить остальную часть файла.

Я вижу, что индекс фрагмента находится в другой функции разделения (например, JsonSplit), но не в разделении записи.Любой другой взломать?

Answer 1

Method1:

Используя процессор Control Rate, мы можем достичь этого случая

Скорость управления процессором:

По этим конфигам мы выпускаем 2 файла потока за каждую минуту и ​​

Расход:

Сконфигурируйте время истечения очереди как равное 10 с (или меньшее число, если вам нужно), тогда для потоковых файлов истечет срок действия в очереди, но первые 2 потоковых файла будут освобождены.

Method2:

Используя процессор SplitText, затем используйте процессор RouteOnAttribute и добавьте новое свойство как

${fragment.index:le(2)}

Используя вышеприведенный язык выражений, мы разрешаем только первые 2 фрагмента индекса.

См. эту ссылку для разбиения большого файла в NiFi.