Разделение потоков дыма - PullRequest
Новая
       14

Разделение потоков дыма

0 голосов
/ 13 марта 2012

У меня есть два разных потока журналов, которые я хотел бы создать в flume.Эти потоки содержат разные сообщения журнала, и было бы здорово обрабатывать их отдельно.

Топология

Моя конфигурация выглядит следующим образом: 

+----+    +-----+
| a0 | -> | dst |
+----+    +-----+
             ^
+----+       |
| a1 | ------+
+----+

a0 и a1 - это источник, в котором создаются журналы.

dst - это место назначения, в которое должны регистрироваться записи журнала (в HDFS).

Конфигурация

Здеськонфигурация узла из оболочки Flume: 

[flume localhost:35873:45678] getmappings
Master has the following mappings

Physical Node                  --> Logical Node(s)

a0.domain.local                --> [a0, a0.domain.local]
a1.domain.local                --> [a1, a1.domain.local]
dst.domain.local               --> [dst.domain.local, fooSink, barSink]

Проблема

Когда я пытаюсь создать новый поток потока, как описано здесь , я получаю следующую ошибку:

[flume localhost:35873:45678] exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")
Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")' due to null
12/03/13 14:06:05 ERROR util.FlumeShell: Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")'

В логах ничего нет, с этой ошибкой due to null ничего не могу сделать.

1 Ответ

0 голосов
/ 13 марта 2012

Хорошо, я понял, источники и стоки должны быть указаны: 

[flume localhost:35873:45678] exec config a0 fooFlow 'rpcSource(12345)' 'agentE2ESink("dst")'
[id: 35] Execing command : config
Command succeeded
...