Я новичок в kafka, zookeeper и flume.
Я играю с этими тремя, и я сделал кластер, чтобы проверить, как они работают.
мой вопрос:какой тип перехватчика я могу использовать для отправки информации об источнике кафки, которая берет данные из темы 1, и я хочу сохранить ее в приемнике той же самой кафки в теме 2, без перезаписи данных в теме 1?это возможно?
Это мой канал:
SecondAgent.sources = fuenteKafka
SecondAgent.channels = canal2
SecondAgent.sinks = ContinenteNegro
################## config kafka source ############
SecondAgent.sources.fuenteKafka.channels = canal2
SecondAgent.sources.fuenteKafka.type = org.apache.flume.source.kafka.KafkaSource
SecondAgent.sources.fuenteKafka.zookeeperConnect = dragons:2181,dragons:2180,dragons:2182
SecondAgent.sources.fuenteKafka.topic = zoldick
SecondAgent.sources.fuentekafka.groupId = flume
SecondAgent.sources.fuenteKafka.batchSize = 1000
SecondAgent.sources.fuenteKafka.kafka.consumer.timeout.ms = 100
########### config channel#############
SecondAgent.channels.canal2.type = memory
SecondAgent.channels.canal2.capacity = 1000
SecondAgent.channels.canal2.transactionCapacity = 1000
####### config ContinenteNegro #########
SecondAgent.sinks.ContinenteNegro.channel = canal2
SecondAgent.sinks.ContinenteNegro.type = org.apache.flume.sink.kafka.KafkaSink
SecondAgent.sinks.ContinenteNegro.topic = freecss
SecondAgent.sinks.ContinenteNegro.brokerList = dragons:9092, dragons:9093, dragons:9094
SecondAgent.sinks.ContinenteNegro.batchSize = 100
SecondAgent.sinks.ContinenteNegro.requiredAcks = -1