Кластер NiFi с Ambari - каковы лучшие практики обслуживания?

Question

У меня есть управляемый Ambari кластер NiFi с несколькими узлами.

Каковы наилучшие методы обслуживания узлов при сохранении обслуживания?

1. Следует ли мне отключить узел с NiFi, а затем остановить NiFi на этом узле через Ambari? (затем повторите для каждого узла)
2. Или прямая остановка / перезапуск узлов с помощью Ambari не вызовет никаких проблем?
3. Как работать с первичным узлом?

Answer 1

@ Eve NiFi - отличный инструмент, который должен позволить вам делать все вышеперечисленное и быть защищенным от сбоев. Несколько комментариев по каждому из ваших 3 пунктов:

1. Остановка NiFi из режима Ambari - хорошая процедура для обслуживания любого отдельного узла. Нет необходимости отключаться.
2. Я думаю, вы имели в виду перезапуск узлов без амбари? Вы тоже можете это сделать, но я бы предпочел №1. Если узел перезапускается за пределами ambari, агент должен восстановиться без проблем. Если NiFI настроен на автоматический запуск, он должен перезапуститься, как только агент будет в сети.
3. Ваш основной узел очень важен и должен переместиться на другой активный узел без каких-либо дополнительных действий после того, как вы отключите основной узел.

И последнее, но не менее важное: при планировании обслуживания следует уделять большое внимание самому потоку данных NiFi. Если потоки всегда включены, вам может потребоваться запланировать время простоя, чтобы избежать момента времени, когда NiFi может быть очень занят обработкой данных. Именно в этот момент остановка служб на узле или самом nifi может вызвать потерю данных или неожиданные результаты с потоком на остальных узлах. Нередко существуют шаги по остановке и резервному копированию потока перед любым обслуживанием.