Avro и бережливый источник в Flume - PullRequest
Новая
       38

Avro и бережливый источник в Flume

0 голосов
/ 26 сентября 2018

Я новичок во Flume. Может кто-нибудь прояснить этот вопрос:

В соответствии с документацией Flume он поддерживает различные типы источников с помощью встроенного API. Источники, такие как: Avro source , Spooling Directory source , Exec source ,Netcat Source , Syslog source.

Предположим, что мы хотим извлечь данные из telnet, а затем используем Netcat в качестве источника.

Затем, в каких сценариях мы будем использовать Avro and Thrift sources?

Заранее спасибо.

1 Ответ

0 голосов
/ 26 сентября 2018

Как правило, вы используете оба для раковин одного типа.Как упомянуто в документации для обоих, в ней говорится, что они являются «одной половиной» поддержки многоуровневой топологии Flume.

Например, поместите источники netcat (или другие) в приемник Avro, настройте второго агента с источником Avro и приемником HDFS для направления всех данных netcat в унифицированное местоположение

См. Разделы «Мультиплексирование и консолидация» в документации.

Avro, как правило, является предпочтительным форматом, поскольку, если вы записываете события в HDFS, то все механизмы запросов MapReduce, Spark, Pig, Hive и т. Д. Могутлегко читать данные события

...