ошибка чтения avro файла из Java / Spark на MacBook в IntelliJ Idea - PullRequest
0 голосов
/ 27 марта 2020

Я пытаюсь прочитать файл avro на моем ноутбуке (MacBook Pro) из Java / Spark в IntelliJ Idea. Но я получил ошибку:

 SparkConf conf = new 
 SparkConf().setAppName("test").setMaster("local[*]").set("spark.executor.memory","1g");
 final JavaSparkContext sc = JavaSparkContext.fromSparkContext(SparkContext.getOrCreate(conf));

 JavaPairRDD<String, My_data_structure> myJavaPairRDD = MyUtils.loadAvroFile(sc, avro_file_path);


 String key = myJavaPairRDD.first()._1(); // error !

ошибка:

  Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.mapreduce.lib.input.FileInputFormat tried to access method com.google.common.base.Stopwatch.<init>()V (org.apache.hadoop.mapreduce.lib.input.FileInputFormat and com.google.common.base.Stopwatch are in unnamed module of loader 'app')

Я пытаюсь найти его, но не могу найти решение. Кажется, что есть модуль под названием «приложение», который должен быть определен? Но я не уверен, какой модуль.

спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...