Flume: можем ли мы создать путь hdfs (hdfs-sink) динамически, используя темы и разделы kafka при использовании канала kafka - PullRequest
0 голосов
/ 16 октября 2018

Я отправляю данные в тему кафки с несколькими разделами.

Например, в 1 теме с 10 разделами я хочу сохранить данные в пути hdfs на основе разделов (в нескольких каталогах hdfs).

Например, мои каталоги пути hdfs должны выглядеть следующим образом: /topicname / partition1, / topicname / partition2 и т. д.

Я использую канал Kafka - org.apache.flume.channel.kafka.KafkaChannel.

...