Apache NiFi - опция «Исполнение» - PullRequest
0 голосов
/ 16 мая 2019

Может кто-нибудь сказать мне, что такое использование опции «Выполнение» в Apache NiFi?

Эта опция доступна для большинства процессоров, и в настоящее время мы можем выбрать 2 значения - первичный узел и весь кластер.

Один из вариантов использования, о котором я могу подумать, - чтение данных из Kafka, и вы хотите сбалансировать загрузку чтения.

Может быть, я запутался с использованием этой опции, так как она предусмотрена для большинства процессоров.

1 Ответ

3 голосов
/ 16 мая 2019

Primary Node Only - для случая, когда исходный процессор должен работать только на одном узле. Например, если у вас был процессор GetSFTP в начале вашего потока в кластере из 3 узлов, вы бы не хотели, чтобы он работал на всех 3 узлах, потому что все они получили бы одинаковые файлы.

Наиболее распространенным использованием только основного узла является, вероятно, шаблон List + Fetch. Поток начинается с процессора List, такого как ListHDFS, который работает только на первичном узле, за которым следует соединение с балансировкой нагрузки для распределения листингов по всем узлам, подключенным к FetchHDFS, работающему на всех узлах.

https://pierrevillard.com/2018/10/29/nifi-1-8-revolutionizing-the-list-fetch-pattern-and-more/

Процессоры, которые не являются первыми процессорами в потоке, никогда не следует устанавливать на основной узел, даже если приложение позволяет это. Возможно, это можно улучшить.

...