Как использовать dplyr в sparklyr

Question

Здравствуйте. Я только начинаю использовать Sparklyr и получаю сообщение об ошибке при попытке использовать dplyr для обработки некоторых данных.

library(sparklyr)

sc <- spark_connect(master = "local")

spark_read_csv(sc, "df2_tbl", 
"C:/Users/...csv")

 spark_read_csv(sc, "df_n2_tbl", 
"C:/Users/...csv")

Я вижу объекты "df2_tbl" и "df2_n2_tbl" на вкладке "Соединения" рядом с "Средой" и "Журналом", а также в пользовательском интерфейсе Spark, но при запуске следующего

match_cat <- df_n2_tbl %>% 
         filter(var1 %in% df2_tbl) %>% 
         collect()

Я получаю ошибку -

"Error in eval(lhs, parent, parent) : object 'df_n2_tbl' not found"

Answer 1

Мне нужно было присвоить объекту результаты функции spark_read_csv ().

library(sparklyr)

sc <- spark_connect(master = "local")

df1 <- spark_read_csv(sc, "df2_tbl", 
"C:/Users/...csv")

df2 <- spark_read_csv(sc, "df_n2_tbl", 
"C:/Users/...csv")