Apache Flink - производитель кафки, чтобы сливать сообщения на темы кафки, но на разных разделах - PullRequest
0 голосов
/ 28 августа 2018

Прямо сейчас мой код flink обрабатывает файл и переносит данные по теме кафки с 1 разделом.

Теперь у меня есть тема с 2 разделами, и я хочу, чтобы код flink поглощал данные этих 2 разделов с помощью DefaultPartitioner.

Не могли бы вы помочь мне с этим.

Вот фрагмент кода моего текущего кода:

DataStream<String> speStream = inputStream..map(new MapFunction<Row, String>(){....}
Properties props = Producer.getProducerConfig(propertiesFilePath);
speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName, new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), props, FlinkKafkaProducer011.Semantic.EXACTLY_ONCE));

1 Ответ

0 голосов
/ 28 августа 2018

Решил это, изменив flinkproducer на

 speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new SimpleStringSchema(), 
 props));

раньше я использовал

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,
new KeyedSerializationSchemaWrapper<>(new SimpleStringSchema()), props,
FlinkKafkaProducer011.Semantic.EXACTLY_ONCE));
...