Исключение в потоке "main" java.lang.IllegalStateException: Невозможно получить файлы по схеме 'spark' без активного SparkEnv - PullRequest
Новая
       55

Исключение в потоке "main" java.lang.IllegalStateException: Невозможно получить файлы по схеме 'spark' без активного SparkEnv

0 голосов
/ 08 июня 2019

Я очень новичок в Spark и Cassandra, получил один образец от GitHub и попытался запустить приложение по ссылке ниже

SWARK-ON-CASSANDRA-QuickSTART

После того, как файл jar сгенерирован, попытался выполнить с приведенным ниже синтаксисом 

C:\Users\user\Desktop\softwares\spark-2.4.3-bin-hadoop2.7\spark-2.4.3-bin-hadoop2.7\bin>spark-submit --class com.github.boneill42.JavaDemo --master spark://localhost:7077
C:\Users\user\git\spark-on-cassandra-quickstart\target/spark-on-cassandra-0.0.1-SNAPSHOT-jar-with-dependencies.jar spark://localhost:7077 localhost

Ниже приведена проблема, с которой я сталкиваюсь 

19/06/08 22:59:49 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.IllegalStateException: Cannot retrieve files with 'spark' scheme without an active SparkEnv.
        at org.apache.spark.util.Utils$.doFetchFile(Utils.scala:690)
        at org.apache.spark.deploy.DependencyUtils$.downloadFile(DependencyUtils.scala:137)
        at org.apache.spark.deploy.SparkSubmit$$anonfun$prepareSubmitEnvironment$7.apply(SparkSubmit.scala:367)
        at org.apache.spark.deploy.SparkSubmit$$anonfun$prepareSubmitEnvironment$7.apply(SparkSubmit.scala:367)
        at scala.Option.map(Option.scala:146)
        at org.apache.spark.deploy.SparkSubmit.prepareSubmitEnvironment(SparkSubmit.scala:366)
        at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:143)
        at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
        at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:924)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:933)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

Пожалуйста, помогите мне в решении проблемы

1 Ответ

0 голосов
/ 09 июня 2019

В вашем случае кажется, что вы хотите запустить в автономном режиме 

spark://HOST:PORT   Connect to the given Spark standalone cluster master.
The port must be whichever one your master is configured to use, which is 7077 by default.

Вы запускаете мастер-мастер и рабочий спарк сначала?

запустите мастер 

./sbin/start-master.sh

запуск работника 

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://localhost:7077 -c 1 -m 512M

После запуска мастера и работника вы можете снова отправить свою работу.

...