Есть ли способ сохранить таблицу в локальном режиме Spark и получить ее после переподключения? - PullRequest
Новая
       4

Есть ли способ сохранить таблицу в локальном режиме Spark и получить ее после переподключения?

0 голосов
/ 09 января 2019

Я использую sparklyr с локальной искрой (2.3.0). Я могу сохранить таблицу с spark_write_table как в 

library(sparklyr)
sc <- spark_connect(master = "local", version = "2.3.0")
sdf_copy_to(sc, iris, "iris")
spark_write_table(tbl(sc, "iris"), "iris2")
Две таблицы "ирис" и "ирис2" есть: 
 dbGetQuery(sc,"SHOW TABLES")

 database tableName isTemporary   
1 default     iris2       FALSE  
2              iris        TRUE
и первый кажется не временным.

Однако, если я отключаюсь от сеанса и снова подключаюсь, используя 

spark_disconnect(sc)
sc <- spark_connect(master = "local", version = "2.3.0")
Я больше не могу найти таблицу «iris2», хотя эта таблица присутствует в каталоге хранилища spark.

Это ожидаемое поведение (Spark в локальном режиме не может хранить постоянные таблицы) или существует хитрость, позволяющая сохранять и извлекать таблицы при использовании одного и того же каталога хранилища?

...