Написание файла Avro из CSV в Spark-JAVA - PullRequest
0 голосов
/ 29 мая 2019

Я пытаюсь записать данные файла CSV в Avro, ниже я прилагаю свой код.

public class CsvToAvro {

public static void main(String[] args) {

    SparkSession spark = SparkSession.builder().config("spark.master", "local").getOrCreate();
    System.setProperty("hadoop.home.dir", "C:\\winutils");


            spark.read()
            .option("header", "false")
            .option("delimiter", ",")
            .csv("C:\\Users\\Sai Venkat\\Desktop\\HiveDataTypeData.csv")
            .write()
            .format("com.databricks.spark.avro").save("C:\\Users\\Sai Venkat\\Desktop\\avrodataTypes");



    //.save("C:\\Users\\Sai Venkat\\Desktop\\avrodataTypes.avro");
}

}

Исключение в потоке "main" java.lang.NoSuchMethodError: org.apache.avro.Schema $ Field. (Ljava / lang / String; Lorg / apache / avro / Schema; Ljava / lang / String; Lorg / codehaus / jackson / JsonNode; Lorg / apache / avro / Schema $ Field$ Order;) V

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...