Flume agent - можно ли указать сжатие как gzip или bz2? - PullRequest
5 голосов
/ 26 февраля 2011

Можно ли указать параметр сжатия в агенте Flume, чтобы данные передавались в сборщик в сжатом формате?Я знаю, что на уровне сборщика есть варианты сжатия, но было бы также крайне полезно иметь возможность передавать сжатые данные из агента.

Спасибо!

1 Ответ

2 голосов
/ 23 марта 2011

Flume имеет декораторы раковин gzip и gunzip, которые вы можете использовать. Поместите декоратор gzip на приемник агента и декоратор gunzip на приемник коллектора, и передача сжатых данных между агентом и сборщиком должна выполняться Just Work.

...