Команда Spark-submit -class не найдена?

Question

Я управляю проектом с кафкой и Apache spark.Чтобы запустить мой поток kafka, я запускаю эту команду из проекта:

$SPARK_HOME/spark-submit --class "TwitterStream" --master local[*] target/scala-2.11/scalakafka_2.11-0.1.jar

Однако я просто получаю следующее сообщение об ошибке:

bash: /spark-submit: No such file or directory

Если я добавлю \ в конецКажется, что команда вводит spark-submit, но ничего не происходит!

Answer 1

Сначала вы убедитесь, что вы правильно настроили SPARK_HOME, используя echo $SPARK_HOME.если нет, тогда запустите export SPARK_HOME=<your spark folder's path>.