Java Ошибка карты искры: ОШИБКА Исполнитель: Исключение в задании 0.0 на этапе 0.0 искра scala? - PullRequest
0 голосов
/ 24 апреля 2020

Я разрабатываю приложение spark с JAVA. я получаю эту ошибку после отображения данных . Я нашел соответствующую проблему для python, но не смог понять, как решить ее для моей программы. фактически исключение составляет java .lang.NullPointerException . это часть кода

JavaRDD<LabeledPoint> labeledData = data // THIS IS THE ERROR LINE
      .map(line -> {
          String[] parts = line.split(",");
          double[] v = new double[parts.length - 1];
          for (int i = 0; i < parts.length - 1; i++) {
              v[i] = Double.parseDouble(parts[i]);
          }
          return new LabeledPoint(map.get(parts[parts.length - 1]), Vectors.dense(v));
    });

Трассировка стека для ошибки:

20/04/24 12:51:27 ИНФОРМАЦИЯ HadoopRDD: Разделение ввода: файл: / C : /Users/eeee/Desktop/JAVA-Project/Final_Project/TrainingDataset.csv

20/04/24 12:51:27 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NullPointerException
  at my_package.SparkApp.lambda$0(SparkApp.java:72)
  at org.apache.spark.api.java.JavaPairRDD$.$anonfun$toScalaFunction$1(JavaPairRDD.scala:1041)
  at scala.collection.Iterator$$anon$10.next(Iterator.scala:459)
  at scala.collection.Iterator$$anon$10.next(Iterator.scala:459)
  at scala.collection.Iterator$SliceIterator.next(Iterator.scala:271)
  at scala.collection.Iterator.foreach(Iterator.scala:941)
  at scala.collection.Iterator.foreach$(Iterator.scala:941)
  at scala.collection.AbstractIterator.foreach(Iterator.scala:1429)
  at scala.collection.generic.Growable.$plus$plus$eq(Growable.scala:62)
  at scala.collection.generic.Growable.$plus$plus$eq$(Growable.scala:53)
  at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:105)
  at scala.collection.mutable.ArrayBuffer.$plus$plus$eq(ArrayBuffer.scala:49)
  at scala.collection.TraversableOnce.to(TraversableOnce.scala:315)
  at scala.collection.TraversableOnce.to$(TraversableOnce.scala:313)
  at scala.collection.AbstractIterator.to(Iterator.scala:1429)
  at scala.collection.TraversableOnce.toBuffer(TraversableOnce.scala:307)
  at scala.collection.TraversableOnce.toBuffer$(TraversableOnce.scala:307)
  at scala.collection.AbstractIterator.toBuffer(Iterator.scala:1429)
  at scala.collection.TraversableOnce.toArray(TraversableOnce.scala:294)
  at scala.collection.TraversableOnce.toArray$(TraversableOnce.scala:288)
  at scala.collection.AbstractIterator.toArray(Iterator.scala:1429)
  at org.apache.spark.rdd.RDD.$anonfun$take$2(RDD.scala:1423)
  at org.apache.spark.SparkContext.$anonfun$runJob$5(SparkContext.scala:2156)
  at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
  at org.apache.spark.scheduler.Task.run(Task.scala:127)
  at org.apache.spark.executor.Executor$TaskRunner.$anonfun$run$3(Executor.scala:441)
  at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1377)
  at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:444)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  at java.lang.Thread.run(Thread.java:748)

Спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...