Запись заданий Spark Stream в Hdfs в формате Json - PullRequest
0 голосов
/ 05 июня 2019

Я выполнил задание потокового воспроизведения, которое опрашивает массаж от Кафки и сохраняет его в формате json в формате Hdfs.Вот пример: https://github.com/sryza/simplesparkavroapp/blob/specifics/src/main/scala/com/cloudera/sparkavro/SparkSpecificAvroWriter.scala

Существует еще одно задание, которое создает таблицу кустов на основе avro со следующими свойствами - AvroContainerInputFormat / AvroConrainerOutputFormat.Теперь я сталкиваюсь с проблемой, что производимый файл json не визуализирует запрос таблицы кустов.Кажется, что форматы ввода / вывода разные У кого-то была похожая проблема?

...