Невозможно пройти через Spark RDD

Question

Я хочу перебрать RDD в Spark Repl, но, похоже, он не работает

case class Person(age: Long, name: String)

val df = Seq(Person(24, "pedro"), Person(22, "fritz")).toDF()

val myWholeRDD : RDD[Row] = df.select("*").rdd

myWholeRDD.foreach(println)

Foreach - это функция в RDD, так в чем же проблема?

Здесьэто исключение, которое я получаю

ОШИБКА ExecutorClassLoader: не удалось проверить существование класса org.apache.spark.sql.catalyst.expressions.Object на сервере класса REPL при искре: //10.203.125.99:61974 / classes java.io.IOException: Не удалось подключиться к /10.203.125.99:61974 в org.apache.spark.network.client.TransportClientFactory.createClient (TransportClientFactory.java:232) в org.apache.spark.network.client.TransportClientFactory.createClient (TransportClientFactory.java:182) в

Answer 1

В журнале ошибок говорится, что не удалось подключиться к мастеру

Не удалось подключиться к /10.203.125.99:61974 по адресу org.apache.spark.network.client.TransportClientFactory.createClient (TransportClientFactory.java: 232)

Если вы пытаетесь запустить spark-shell на локальном компьютере, вы можете запустить spark-shell как

spark-shell --master local[*]

Надеюсь, это поможет!