Копировать данные в среду Spark

Question

Я пытаюсь скопировать свои данные в spark и получаю следующую ошибку

Ошибка в as.data.frame.default (x, stringsAsFactors = FALSE, row.names = FALSE,: не удается принудительно привести класс "структура ("SparkDataFrame", package = "SparkR") "для data.frame

Я просмотрел документацию и не нашел ничего, что может помочь

library(SparkR)
DF <- read.df("/FileStore/tables/export.csv", source = "csv", header="true", inferSchema = "true")

library(sparklyr)
library(dplyr)
sc <- spark_connect(method = "databricks")
#This gives the above error
DF_tbl <- sdf_copy_to(sc = sc, x = DF, overwrite = T)

Answer 1

Я не могу проверить это без доступа к export.csv, но проблема может возникнуть из-за смешивания функции SparkR ( т.е. , read.df()) с sparklyr функций ( т.е. , spark_connect() и sdf_copy_to()).

Я предполагаю, что sparklyr::sdf_copy_to() не принимает объект класса SparkR 'SparkDataFrame'.

Попробуйте заменить SparkR::read.df() на что-то вроде readr::read_csv() или data.table::fread().