Nifi: объединение всех необходимых потоковых файлов в одном кадре с процессором MergeContent

Question

Это вопрос про процессор MergeContent в Nifi.В настоящее время мне нужно объединить все потоковые файлы с одним конкретным атрибутом одним способом.

Но что происходит, так как существует так много потоковых файлов с одним и тем же атрибутом, процессор создает несколько разных потоковых файлов, объединенных с атрибутом,и те немногие должны быть объединены в один большой файл потока вместе.

Есть ли какие-либо способы дождаться, пока все потоковые файлы с одним и тем же атрибутом поступят в процессор MergeContent и объединят их все одновременно?

Если нет, что может быть альтернативой?

Answer 1

Вы можете увеличить «Минимальное количество записей» и «Максимальное количество записей» в соответствии с вашим вариантом использования и увеличить «Максимальный возраст бина» до подходящего времени.

Вы можете ссылаться на все свойства для слияния-контента здесь: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.6.0/org.apache.nifi.processors.standard.MergeContent/index.html

Кроме того, вы используете нифи в кластере или в одиночку? Поскольку потоковые файлы в одном узле не могут быть объединены с потоковыми файлами в другом узле.

Например, если вы используете кластер nifi с 5 узлами, каждый из которых имеет 10 потоковых файлов. После использования процессора слияния контента у вас будет 5 файлов.

Дайте мне знать, если вам нужна дополнительная помощь!