Загрузить RDD от имени

Question

В Spark вы можете сделать setName на СДР.

Можно ли загрузить СДР от имени?

Как и spark.loadRDD(name)?

Спасибо.

Answer 1

Такой опции нет, потому что имена не являются уникальными идентификаторами.Есть только метод для добавления дополнительной информации, которая будет отображаться в пользовательском интерфейсе или строке отладки.

Прекрасно иметь:

val rdd1 = sc.parallelize(Seq(1, 2, 3)).setName("foo")
val rdd2 = sc.parallelize(Seq(4, 5, 6)).setName("foo")

, и Spark не "знает"какой СДР вернуть.

Кроме того, Spark вообще не отслеживает СДР.Только объекты, которые кэшируются или сохраняются другими способами, «известны» Spark.