Поток искры с сериализацией kafka avro - PullRequest
Новая
       20

Поток искры с сериализацией kafka avro

0 голосов
/ 23 мая 2018

Я храню данные в Kafka, используя схему реестра и сериализацию avro.Теперь я должен использовать это сообщение от Кафки и хранить его в 2 местах.Один из них - паркетный файл, другой - база данных Cassandra.После долгих поисков я обнаружил, что для выполнения вышеупомянутых двух задач нам необходимо преобразовать потоковый rdd в фрейм данных.Однако я не могу получить реализацию Java для того же.Можете ли вы предложить по этому поводу.

Пример кода :: 

JavaPairReceiverInputDstream<String, GenericRecord> = KafkaUtils.createStream(jssc, String.class,
    GenericRecord.class, KafkavroDecoder.class,
    KafkavroDecoder.class, Kafkaesque,topicMap);

JavaDStream<GenericRecord> msg= Kafka.map(
new Function<Tuple2<String, GenericRecord>, GenericRecord>(){
public GenericRecord call(Tuple2<String, GenericRecord> Tuple2) {
      return tuple2._2();
   }
});

msg.print(); // output looks like :: Id=1 name= man

Я хочу сохранить вышеуказанные данные в таблице Cassandra.

...