spark 1.6 - создание и история RDD

Question

Я использую pyspark 1.6 с Python и хотел бы отслеживать список предыдущих сессий и историю.

Например: СДР создан 2 дня назад с возможностью сохранения. создал RDD, и он был активен только для текущего сеанса, и при выходе из сеанса я не вижу след предыдущих преобразований.

Какие-либо настройки или параметры для настройки?

Спасибо Виджей

Answer 1

Вы можете использовать команду: history в вашей свече REPL. Он предоставит все команды, используемые для текущего сеанса.

scala> :history
  1  exit
  2  quit
  3  quit;
  4  close();
  5  val rdd = sc.textFile(“README.md”)
  6  val rdd = sc.textFile("README.md")
  7  rdd.count();
  8  val rdd = sc.textFile("README.md")
  9  rdd.count()
 10  val rdd = sc.textFile("/Users/**/bashrc.txt")
 11  rdd.count()
 12  val rdd = sc.textFile("README.md")
 13  rdd.count();
 14  val rdd = sc.textFile("README.md")
 15  rdd.count()
 16  quit
 17  exit
 18  exit;
 19  history
 20  :history


 scala>