Как опубликовать элементы в теме кафки при обработке элементов в PCollection> в ParDo функция в Apache Beam?

Question

У меня есть PCollection<KV<String,String>> Pcol, я обрабатываю каждый элемент в методе ParDo.Я хочу опубликовать записи, основанные на каком-то условии, в теме кафки в самом pardo.

Как мне это сделать?

PCollection<KV<String, String>> Pcol =pipeline.apply("Process Data", 
    ParDo.of(new DoFn<KV<String, String>, KV<String, String>>() {
        @ProcessElement
        public void processElement(ProcessContext c) throws IOException {
            String key = element.getKey();
            if(key==null)
            {//publish to a kafka topic}
        }
    })
);

Answer 1

В Beam Sinks обычно реализуются ParDo.Поэтому вы можете обратиться к тому, как приемники Kafka реализованы в Beam, чтобы узнать, как писать в Kafka в ParDo.Более конкретно, эти два класса могут быть полезны: 1 и 2 .