Микропакетирование через Нифи

Question

У меня есть сценарий, когда мои сообщения кафки (из той же темы) проходят через один конвейер обогащения и в конце записываются в HDFS и MongoDB.Мой потребитель Kafka для HDFS будет работать ежечасно (для микропакетирования).Поэтому мне нужно знать наилучший из возможных способов маршрутизации потоковых файлов в putHDFS и putMongo в зависимости от того, из какого источника он поступает (потребитель для HDFS или потребитель для БД Mongo).

Или, пожалуйста, предложите, если есть какой-либо другой способдля достижения микро-дозирования через Nifi.

Спасибо

Answer 1

Вы можете настроить Nifi на использование Стратегии планирования для процессоров, которые загружают данные.

И я бы подумал, что вы хотите, чтобы потребители Kafka всегда читали данные, создавали резервы FlowFiles в NiFi, а затем выполняли путы с меньшей частотой.

---

Это похоже на то, как Kafka Connect будет работать для своего HDFS Connector