Я пытаюсь прочитать файл avro на моем ноутбуке (MacBook Pro) из Java / Spark в IntelliJ Idea. Но я получил ошибку:
SparkConf conf = new
SparkConf().setAppName("test").setMaster("local[*]").set("spark.executor.memory","1g");
final JavaSparkContext sc = JavaSparkContext.fromSparkContext(SparkContext.getOrCreate(conf));
JavaPairRDD<String, My_data_structure> myJavaPairRDD = MyUtils.loadAvroFile(sc, avro_file_path);
String key = myJavaPairRDD.first()._1(); // error !
ошибка:
Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.mapreduce.lib.input.FileInputFormat tried to access method com.google.common.base.Stopwatch.<init>()V (org.apache.hadoop.mapreduce.lib.input.FileInputFormat and com.google.common.base.Stopwatch are in unnamed module of loader 'app')
Я пытаюсь найти его, но не могу найти решение. Кажется, что есть модуль под названием «приложение», который должен быть определен? Но я не уверен, какой модуль.
спасибо