Стойкость СДР - PullRequest
       8

Стойкость СДР

0 голосов
/ 03 апреля 2020

Рассмотрим следующий код.

val rdd1 = sc.textFile("...").persist()
val rdd2 = rdd1.map(_.length).persist()
val cnt = rdd2.count()
val rdd3 = rdd1.map(_.split(" ")).persist()

После вызова rdd2.count() сохраняется ли rdd1? Или rdd1 сохраняется, только если на него вызывается действие?

1 Ответ

0 голосов
/ 03 апреля 2020

rdd1 сохраняется во время действия rdd2.count. Вы можете проверить интерфейс свечи, чтобы лучше понять DAG

...