Случай использования для Apache NiFi?

Question

Мне было интересно, подходит ли следующая проблема / использование IoT для использования Apache NiFi:

Я использую NB-IoT / LTE-M в качестве средства подключения для отправки сообщений на облачную платформу IoT(например, AWS IoT Core, Azure IoT Hub или другие). Мне нужен конвертер протоколов / шлюз для сообщений, входящих как UDP или TCP и выходящих как MQTT. Конечно, я могу разработать прослушиватель / сервер UDP / TCP, который прослушивает входящие сообщения и публикует их в нужном посреднике облачной платформы IoT (MQTT). Но я думал о возможном использовании Apache NiFi, поскольку у него есть процессоры для UDP, TCP и MQTT. Однако мне было интересно, предназначен ли Apache NiFi для подобных сценариев (IoT)?

Спасибо. Guy

Answer 1

Мы используем Apache NiFi для приема и маршрутизации данных IoT в масштабе. Мне пришлось написать собственный процессор из-за проприетарного протокола IoT, однако сборка остальной части потока была просто перетаскиванием. Прежде чем инвестировать в разработку собственного прослушивателя / сервера UDP / TCP, по крайней мере, попробуйте NiFi и посмотрите, сможете ли вы решить свою проблему. С помощью NiFi вы можете довольно быстро создавать ориентированные графики маршрутизации данных и иметь короткий цикл обратной связи.

Подумайте о следующем:

• Что ограничит возможности роста системы?
• На какие ограничения ресурсов важно обратить внимание? Например, метрический объем, скорость, разнообразие, волатильность
• Насколько он может быть большим? Вам нужна устойчивость?

С кластерным NiFi вы можете распределить рабочую нагрузку на несколько экземпляров и удовлетворить требования роста и устойчивости. Вы также можете объединять данные и регулировать их объем для защиты последующих систем. Возможности NiFi очень универсальны.

Чтобы ответить на ваш вопрос: да, Apache NiFi активно используется для сценариев IoT. На cloudera есть даже учебник по Nio IoT: https://www.cloudera.com/tutorials/nifi-in-trucking-iot.html