Как напечатать RDD в Scala - PullRequest
Новая
       5

Как напечатать RDD в Scala

0 голосов
/ 02 февраля 2019

Если у меня есть коллекция RDD, которая имеет следующую форму: 

RDD[(ID, Iterable[(Var1,Var2)])]

Таким образом, данные выглядят так: 

RDD[("ID1",[(1,3),(1,12),(1,6)])],
RDD[("ID2",[(2,5),(2,7)])]

Каков наилучший способ распечататьзначения?

* Отредактировано в соответствии с @Luis, если я просто сделаю: 

rdd.collect().foreach(println)

Программа выдаст ошибку со следующим: 

19/02/02 14:04:55 ERROR Executor: Exception in task 0.0 in stage 2.0 (TID 2)
java.lang.ClassCastException
19/02/02 14:04:55 WARN TaskSetManager: Lost task 0.0 in stage 2.0 (TID 2, localhost, executor driver): java.lang.ClassCastException

19/02/02 14:04:55 ERROR TaskSetManager: Task 0 in stage 2.0 failed 1 times; aborting job
19/02/02 14:04:55 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool
19/02/02 14:04:55 INFO TaskSchedulerImpl: Cancelling stage 2
19/02/02 14:04:55 INFO DAGScheduler: ShuffleMapStage 2 (map at StackOverflow.scala:85) failed in 0.093 s due to Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 2, localhost, executor driver)
: java.lang.ClassCastException

Driver stacktrace:
19/02/02 14:04:55 INFO DAGScheduler: Job 1 failed: collect at StackOverflowSuite.scala:54, took 0.162394 s
...