как интегрировать / подключить apache nifi к Apache kafka? - PullRequest
Новая
       7

как интегрировать / подключить apache nifi к Apache kafka?

0 голосов
/ 22 мая 2018

Я хочу отправить данные из Apache nifi в kafka и далее в HDFS для хранения.

Можно ли подключить apache nifi с kafka ... как интегрировать apache nifi в kafka?

Ответы [ 2 ]

0 голосов
/ 11 октября 2018

Вы можете использовать процессоры PutKafka для передачи данных из Nifi в Kafka.В диалоговом окне Добавить процессоры введите PutKafka для поиска процессора.

Для HDFS вы можете использовать процессор PutHDFS.Вам нужны файлы core-site.xml и hdfs-site.xml, чтобы использовать процессор PutHDFS.Вы можете скачать файлы конфигурации HDFS из меню HDFS внутри Ambari.В меню HDFS нажмите «Действия» и выберите «Загрузить настройки клиента».Вы должны написать расположение файла через запятую.

0 голосов
/ 22 мая 2018

Nifi поставляется с несколькими процессорами Kafka.

Просто начните вводить Kafka в поле поиска, когда вы добавите один.Используйте версию, соответствующую вашей установке Kafka.Например, не запускайте процессор версии Kafka08 (называемый GetKafka & PutKafka) с установкой Kafka 0.10.x

Разумеется, вам нужно будет установить серверы начальной загрузки, а затем любые другие свойства производителя, которые вам нужныо, как и название темы

Прикрепите процессор ConsumeKafka к PutHdfs

Sidenote Kafka Connect HDFS использует чисто API-методы на основе Kafka для отправки данных в Hadoop из Kafka,Вам не требуется Nifi, если вы не принимаете другие типы данных

...