настройка размера задачи в Rstudio - PullRequest
Новая
       27

настройка размера задачи в Rstudio

0 голосов
/ 13 октября 2018

Я использую Rstudio, когда я запускаю свой код, я сталкиваюсь со следующей проблемой:

taskSetManager: 66 - Этап 0 содержит задачу очень большого размера (1045 КБ).Максимальный рекомендуемый размер задачи составляет 100 КБ.

Что кто-то знает о проблеме и как ее исправить?

КОД: 

library(readr)  
library(dplyr)
library(SparkR, lib.loc=c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
df <-read_delim("winequality-white.csv", delim = ";") %>%  
     dplyr::mutate(taste = as.factor(ifelse(quality < 6, "bad",  ifelse(quality > 6, "good", "average")))) %>%  
     dplyr::select(-quality)  
df <- dplyr::mutate(df, id = as.integer(rownames(df)))
Sys.setenv(SPARK_HOME="/usr/local/spark")
sparkR.session(master="spark://master:7077")
ddf <- createDataFrame(df)
...