java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi - PullRequest
0 голосов
/ 24 сентября 2019

Я пытаюсь запустить команду в моей оболочке linux для запуска примеров spark, моя версия spark - spark-2.2.3-bin-hadoop2.7. Мой кластер Spark работает.Поэтому я не понимаю, почему был неправ.Вот моя команда:

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node01:7077,node02:7077,node03:7077 --executor-memory 1G --total-executor-cores 2 /export/servers/spark-2.2.3-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.3.jar 100

java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:233)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:732)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

1 Ответ

0 голосов
/ 24 сентября 2019

Я нашел свою очередь!Потому что пользователь и группа моей директории установки spark не root. Я могу успешно работать после перехода на root. введите описание изображения здесь

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...