Поток данных между сайтами NiFi медленный - PullRequest
0 голосов
/ 23 октября 2018

У меня есть несколько автономных экземпляров NiFi (около 10), которые я хочу использовать для отправки данных в кластер NiFi (3 экземпляра NiFi) с использованием RPG (Site-to-Site).Но поток от автономных экземпляров к кластеру кажется медленным.

  1. Это правильный подход?
  2. Сколько соединений между сайтами позволяет NiFi?
  3. Существуют ли передовые методы для обмена данными между сайтами NiFi?

1 Ответ

0 голосов
/ 23 октября 2018

Вы можете сначала исключить вашу сеть.Вы можете подключиться к одному из автономных узлов по протоколу ssh, а затем попытаться передать большой файл из автономного узла в один из узлов кластера NiFi.Если это происходит медленно, то это скорее проблема сети, и вы мало что сможете сделать, чтобы она работала быстрее в NiFi.

В NiFi вы можете настроить каждую сторону сайта наsite config ...

В центральном кластере вы можете щелкнуть правой кнопкой мыши на удаленном входном порте и настроить параллельные задачи, значение по умолчанию - 1. Это число потоков, которые могут одновременно обрабатывать данные, полученные на порт.

В автономных экземплярах NiFi вы также можете настроить параллельные задачи, используемые для отправки данных на заданный порт.Щелкните правой кнопкой мыши на RPG и выберите «Управление удаленными портами», а затем измените параллельные задачи для любого порта.

...