Мы получаем сообщения Json из вышестоящей системы через тему Кафки.Требование - хранить эти сообщения в HDFS через определенный интервал.Поскольку мы храним в HDFS, мы хотим объединить определенное количество этих записей в один файл.Согласно документации NiFi для этого мы используем процессор "MergeRecords" .
О поступающих записях: ##
- Это многострочные сообщения JSon с вложенной структурой.
- Они основаны на одной и той же схеме (онивзяты из одной темы Kafka)
- Это проверенные сообщения, и даже процессор NiFi может их проанализировать.так что, очевидно, нет проблем с сообщениями JSon с точки зрения схемы
Текущая конфигурация
Ниже приведен снимок конфигурации процессора.Версия NiFi: 1.8
Ожидаемое поведение
Для конфигурации «Выше» ожидается, что MergeRecords должен иметь вес для одного из порогов, т.е. Максимальное количество записей (100000) или Максимальный размер компонента (100 КБ).
Наблюдаемое поведение
Но было замечено, что бин собирается довольно красиво до того, как будет достигнут любой из порогов.Он запускает формирование бина только для 2 записей размером 5 КБ.
Если вы могли бы помочь с анализом и / или указателями, почему процессор MergeRecord не работает в соответствии с конфигурацией?