ошибка spark_apply при указании имен столбцов - PullRequest
Новая
       5

ошибка spark_apply при указании имен столбцов

0 голосов
/ 05 июня 2019

Я запускаю sparklyr в локальном режиме из RStudio в Windows 10: 

spark_version <- "2.1.0"
sc <- spark_connect(master = "local", version = spark_version)
df <- data.frame(id = c(1, 1, 2, 2), county_code = c(1, 20, 321, 2))
sprintf("%03d",as.numeric(df$county_code))

df_tbl = copy_to(sc,df, "df_tbl", overwrite = TRUE)
df_tbl %>% summarise(sum = sum(county_code)) %>% collect() ## this works

## this does not:
df_tbl %>% 
   spark_apply(function(e) data.frame(sprintf("%03d",as.numeric(e$county_code), e),
                                     names = c('county_code_fips', colnames(e))))

В последней строке возвращается следующая ошибка: 

Error in file(con, "r") : cannot open the connection
In addition: Warning message:
In file(con, "r") :
  cannot open file 'C:\Users\janni\AppData\Local\Temp\RtmpELRVxu\file4ab817055ccc_spark.log': Permission denied

Это происходит на обоих ноутбукахи рабочий стол.Я попытался запустить RStudio в качестве администратора, но это ничего не изменит.

1 Ответ

1 голос
/ 12 июня 2019

Кажется, проблема в том, что names указано для spark_apply.

Одним из вариантов является то, что вы можете обойтись без этого без аргумента names. 

df_tbl %>% 
 spark_apply(function(e) data.frame(county_code_fips = 
                                 sprintf("%03d",as.numeric(e$county_code)), e))

## Source: spark<?> [?? x 3]
#  county_code_fips    id county_code
#  <chr>            <dbl>       <dbl>
#1 001                  1           1
#2 020                  1          20
#3 321                  2         321
#4 002                  2           2

Поскольку names не имеет доступа к e в функции внутри spark_apply, вы должны использовать имена из таблицы. 

df_tbl %>% 
 spark_apply(function(e) 
     data.frame(sprintf("%03d",as.numeric(e$county_code)), e), 
     names = c('county_code_fips', colnames(df_tbl)))

## Source: spark<?> [?? x 3]
#  county_code_fips    id county_code
#  <chr>            <dbl>       <dbl>
#1 001                  1           1
#2 020                  1          20
#3 321                  2         321
#4 002                  2           2
...