Сохранение сериализованных данных Kafka Avro в файл паркета с использованием потоковой передачи Spark - PullRequest
0 голосов
/ 24 мая 2018

Я создаю Кафку и искровой потоковый трубопровод.Здесь данные автоматически сериализуются с использованием реестра AVRO GenericRecord и схемы Kafka, а затем сохраняются в разделе Kafka.Spark Streaming используется для чтения из темы Кафки.Мое требование заключается в том, чтобы сохранить искровой потоковый вывод в файл паркета добавочным способом, используя API Java.Пожалуйста, дайте мне знать подходящий подход.

...