Spark - Shell - вопрос запуска

Question

Получение ниже исключения при попытке спарк-оболочки в Windows.Действительно ли нужен интернет для работы?

C:\Users\hadoop>spark-shell
2018-09-27 06:50:30 WARN  Utils:66 - Your hostname, hadoop-8XUGY resolves to a loopback address: 127.0.0.1; using 2001:420:5249:1300:3514:e670:fb36:49f1 instead (on interface wlan2)
2018-09-27 06:50:30 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
2018-09-27 06:50:30 WARN  NativeCodeLoader:62 - Unable to load native- library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2018-09-27 06:50:37 ERROR SparkContext:91 - Error initializing SparkContext.
java.lang.AssertionError: assertion failed: Expected hostname (not IP) but got 2001:420:5249:1300:3514:e670:fb36:49f1
        at scala.Predef$.assert(Predef.scala:170)
        at org.apache.spark.util.Utils$.checkHost(Utils.scala:982)
        at org.apache.spark.util.RpcUtils$.makeDriverRef(RpcUtils.scala:31)
        at org.apache.spark.executor.Executor.<init>(Executor.scala:155)
        at org.apache.spark.scheduler.local.LocalEndpoint.<init>(LocalSchedulerBackend.scala:59)
        at org.apache.spark.scheduler.local.LocalSchedulerBackend.start(LocalSchedulerBackend.scala:126)
        at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:164)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
        at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493)
        at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:933)

Answer 1

проверьте, отображаются ли сопоставления ipconfig и FQDN (и наоборот) на одном и том же компьютере.

Answer 2

Ваши журналы указывают на проблему.Обратите внимание на эту конкретную строку:

   Your hostname, hadoop-8XUGY resolves to a loopback address: 127.0.0.1; using 2001:420:5249:1300:3514:e670:fb36:49f1

И когда вы выполните команду spark-shell, утверждение scala не удалось:

Expected hostname (not IP) but got 2001:420:5249:1300:3514:e670:fb36:49f1

Есть две вещи, которые вы можете сделать.Сначала попробуйте добавить следующее в ваш файл хоста.

::1 localhost

Во-вторых, передайте конфигурацию напрямую, используя --conf spark.driver.host=localhost

spark-shell --conf spark.driver.host = localhost