Apache Spark 2.3.0: не удается запустить spark-shell в Windows

Question

При запуске spark-shell я получаю следующую ошибку.

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
**18/04/25 07:18:41 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 10.250.54.201:7077**

    org.apache.spark.SparkException: Exception thrown in awaitResult:
    at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205)
    at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:75)
    at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:101)
    at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:109)

Answer 1

Попробуйте выполнить приведенные ниже шаги для решения проблемы

Перейти к папке %SPARK_HOME%\bin в командной строке

Запуск spark-class org.apache.spark.deploy.master.Master для запуска мастера. Это даст вам URL-адрес вида spark://ip:port

Запустите s park-class org.apache.spark.deploy.worker.Worker spark://ip:port, чтобы запустить работника. Убедитесь, что вы используете URL-адрес, полученный на шаге 2.

Запустите spark-shell --master spark://ip:port, чтобы подключить приложение к вновь созданному кластеру.