NiFi: равномерная маршрутизация потоковых файлов на разные процессоры

Question

Я пытаюсь использовать PutCassandraRecord от NiFi для ввода данных в кластер Cassandra из 3 узлов (при условии, что все 3 узла обращаются к PutCassandraRecord).Пропускной способности, которую я получаю, недостаточно для моей рабочей нагрузки, поэтому я протестировал с использованием 3 разных процессоров PutCassandraRecord и предоставил адрес 1 узла каждому процессору.Мне удалось получить большую пропускную способность на этом маршруте.

Мой вопрос: могу ли я равномерно разделить количество входящих потоковых файлов на 3 или более разных процессора?Более конкретно, я использую ListenHTTP для прослушивания входящих данных и хочу равномерно разделить входящие данные на 3 разных процессора PutCassandraRecord

Я использую NiFi 1.9.2

Answer 1

Вы можете использовать процессор DistributeLoad с циклическим распределением.

Кроме того, вы можете попробовать использовать один процессор PutCassandraRecord, но увеличить параллельные задачи процессора с 1 до 3. Это должно быть похоже на наличие трех отдельных процессоров, но я ничего не знаю о Cassandra, поэтому я не Не знаю разницы между указанием всех узлов и только одного.