Apache-spark Ошибка: не удалось выполнить задачу при записи строк в sequenceFile - PullRequest
Новая
       39

Apache-spark Ошибка: не удалось выполнить задачу при записи строк в sequenceFile

0 голосов
/ 12 сентября 2018

Я создаю javaPairRDD и сохраняю его в sequenceFileFormat с помощью apache-spark.Версия Spark 2.3.Я запускаю это на нормальном кластере с 4 узлами, и путь также является обычным путем hdfs.Я делаю это, используя искровой код (Java): 

JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD <Integer> jr = sc.parallelize(Arrays.asList(1,2,3,4,5));
JavaPairRDD<NullWritable, Integer> outputData = jr.mapToPair( p -> { 
            return new Tuple2<>(NullWritable.get(), p);
        });
outputData.saveAsHadoopFile("hdfs://master:54310/user/output12",
                NullWritable.class, IntWritable.class, SequenceFileOutputFormat.class);
sc.close();

Но когда я пытаюсь запустить код, я получаю следующее исключение 

org.apache.spark.SparkException: Task failed while writing rows
...