Scala Spark: (org.apache.spark.repl.ExecutorClassLoader) Не удалось проверить существование класса org на сервере классов REPL по пути

Question

Выполнение базовой установки df.show () после спарк-ноутбука

При запуске scala - искровой код на spark-notebook я получаю следующую ошибку.Любая идея, когда это происходит и как избежать?

[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org.apache.spark.sql.catalyst.expressions.Object on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class

Answer 1

Я установил спарк на локальном компьютере, и когда я использовал следующий код, он выдавал ту же ошибку.

spark.read.format("json").load("Downloads/test.json")

Я думаю, что проблема заключалась в том, что он пытался найти какой-то главный узел и брал какой-то случайный IP-адрес или IP-адрес по умолчанию.Я указал режим и затем указал IP как 127.0.0.1, и это решило мою проблему.

Решение

Запустите искру, используя local master

usr/local/bin/spark-shell --master "local[4]" --conf spark.driver.host=127.0.0.1'