Приемник Flume HDFS настроен следующим образом:
tier1.sinks.sink1.hdfs.path = /project/mgd/
tier1.sinks.sink1.hdfs.filePrefix = EMA_LOG%Y%m%d
tier1.sinks.sink1.hdfs.rollInterval = 86400
#tier1.sinks.sink1.hdfs.rollInterval = 3600
tier1.sinks.sink1.hdfs.fileSuffix = .json
tier1.sinks.sink1.hdfs.writeFormat = Text
tier1.sinks.sink1.hdfs.rollSize = 0
tier1.sinks.sink1.hdfs.rollCount = 0
tier1.sinks.sink1.hdfs.fileType = DataStream
tier1.sinks.sink1.channel = channel1
ежедневно создает три файла HDFS (rollInterval = 86400).Является ли это следствием количества агентов Flume, настроенных в кластере, или количества тематических разделов Kafka, которые настроены в качестве источника для этого конкретного агента Flume?Любые предложения по объединению этих файлов в один?