Как прочитать несколько файлов xlsx с несколькими листами в R копировать, чтобы спарк, используя sparklyr для анализа? - PullRequest
0 голосов
/ 06 мая 2019

У меня есть несколько файлов xlsx с несколькими листами (с разными строками) в одной папке, я хочу прочитать все листы (около 65 000 плюс x 6 каждого листа) всех файлов xlsx в один кадр данных, используя R, и скопироватьэто зажечь для анализа данных.Есть ли способ лучше?Спасибо

~ library (sparklyr) библиотека (tidyverse) библиотека (readxl)

sc<-spark_connect(master='local')

dg<-data_frame(
path=list.files(path="~/filetoxlsx/",pattern=".xlsx",
full.names=T)) %>%
mutate(sheets=map(path,excel_sheets)) %>%
unnest(sheets) %>% 
mutate(data=map2(path,sheets, ~ read_excel(path=.x,sheet.y)))

загрузка в spark

Sp_df <-sdf_copy_to (sc, dg, "spark_table"), перезаписать = ИСТИНА) </p>

~

Я просто новичок в спарринге, спасибо заранее.

Ошибка: java.lang.illegalargumentsexception: список недопустимых типов.

...