Инструкция по настройке Apache Flume на граничном узле

Question

Пытаясь настроить Flume на пограничном узле, я просматривал множество блогов, но у меня не было особой идеи, так как большинство из них ссылаются на кластер с одним узлом, может кто-то предположить, что это хорошая идея - настроить на пограничном узле, или это будетбыть на сервере, где установлена ​​HDFS или любой рабочий узел (Data-node), если да, то какова будет конфигурация для настройки этого на пограничном узле.

Answer 1

Как предлагает Viren в производственной среде на пограничном узле, вам нужно только настроить flume, этого нельзя делать на сервере namenode, но мы должны избегать этого из-за проблем с производительностью.

Answer 2

Если это производственная среда, рекомендуется избегать серверов (серверов) NameNode, серверов (ов) Resource Manager, узлов журналов и узлов данных. Это оставляет вас с краевым узлом.

Процесс будет следующим:
1) Установите клиент Hadoop.
2) Установить Flume
3) Сконфигурируйте flume в файле flume.conf (или любом другом имени, которое вы хотите дать). Вы можете найти множество примеров конфигураций онлайн.
4) Сделайте тип мониторинга = http для быстрой проверки данных о производительности.
5) Откройте порты для источников и приемников.
5) Запустите агент.
6) Проверьте журнал агента, чтобы увидеть все запущенные компоненты.
7) Попробуйте отправить пример данных и проверьте, достигает ли он пункта назначения.
8) Отладка любых сбоев.

Дайте мне знать, если вам нужна дополнительная информация.