Рекурсивно присваивать значение rdd в цикле в scala - PullRequest
0 голосов
/ 05 декабря 2018

Как описано в заголовке, как я могу присвоить значение переменной rdd?

Мой код выглядит так:

Var rdd1 = something
For(i <- 0 to n){    
  rdd1= calculation(rdd1,other params)
  rdd1.first
}

Когда я использую код выше, сЗа несколько итераций оперативная память заполнена, и некоторые диски записываются на диск, даже если я вызвал функцию unpersist.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...