запуск pyspark в моей системе Windows произошел Py4JJavaError - PullRequest
Новая
       13

запуск pyspark в моей системе Windows произошел Py4JJavaError

0 голосов
/ 04 апреля 2019

Я использую pyspark в моей системе win10, когда использую counts.saveAsTextFile("wc"), он не работает

Я установил переменные окружения JAVA ， Hadoop ala scala ， winutils ， на моем ноутбуке ， 

counts.saveAsTextFile("wc")
Py4JJavaError: An error occurred while calling o125.saveAsTextFile.
: org.apache.spark.SparkException: Job aborted.
at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala:100)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply$mcV$sp(PairRDDFunctions.scala:1096)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply(PairRDDFunctions.scala:1094)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply(PairRDDFunctions.scala:1094)
...