Как запустить узел агента и узел коллектора на одном компьютере с помощью команды flume-node? - PullRequest
2 голосов
/ 16 марта 2012

Я пытаюсь протестировать агрегирование журналов с помощью Flume.

Установленные CDH3u3 (узел имени, вторичный узел имени, трекер заданий, узел данных, трекер задач) и Flume (flume, flume-master и flume-node) на машине с Ubuntu host1.Для установки Flume я следовал https://ccp.cloudera.com/display/CDHDOC/Flume+Installation.

Я хочу запустить мастер потока, узел коллектора и узел агента на одном узле.Когда я использую обычную команду flume, я могу успешно запустить все три службы: (ссылка: http://ankitasblogger.blogspot.com/2011/05/installing-flume-in-cluster-complete.html)

$ flume master
$ flume node -n flume-collector
$ flume node -n flume-agent

Однако невозможно запустить два узла, используя flume-node:

$ sudo /etc/init.d/flume-master start
$ sudo /etc/init.d/flume-node start

Я не могу дать имя узла команде flume-node, и он просто создает узел с именем host1.host.com.

Должен ли я использовать flume вместо flume-master и flume-node, если я хочу несколько узлов на одном компьютере?Я думаю, flume-master и flume-node дают больше удобства, потому что он сообщает путь журнала, в то время как flume регистрирует на стандартный вывод.

1 Ответ

3 голосов
/ 06 ноября 2012

Вам не нужно устанавливать два узла на одном компьютере. Вы можете настроить логические узлы на Flume-Master, они могут работать на разных логических узлах, эти узлы просто на разных портах.

Разница между коллектором и агентом заключается в том, что они делают, а не в том месте, где они находятся. Все они используют flume-node.

...