Я очень знаком с NiFi. Я не верю, что NiFi имеет какое-либо преимущество перед Streamsets для этого конкретного сценария, если рассматривать его только с точки зрения скорости на узел. NiFi предназначен для работы с произвольными источниками и приемниками, что означает, что он обычно не принимает и не должен принимать какое-либо транзакционное поведение источника. Kafka, тем не менее, предлагает отличный шаблон проектирования для сбора данных, выполнения каких-либо действий, отправки данных в kafka или другое место, а затем получения ответа. Это все более распространенный и масштабируемый паттерн. Сообщество NiFi запускает подход NiFi-FN, который делает как случай общего распределения данных, так и случай, подобный этому, оптимальным в NiFi. NiFi дает массу действительно важных преимуществ, когда вы смотрите на долговечность, надежность, разнообразие данных и источников / приемников, а также встроенный источник. Если все, что вам нужно, это perf, и для этого конкретного случая Streamsets лучше или в этом отношении, я бы порекомендовал Spark / Spark Streaming. Если ваши потребности выйдут за рамки того, что описано здесь, и сфокусированы на распределении / управлении потоком данных, тогда NiFi будет абсолютно лучшим выбором.