Проблемы при работе с уроками sparklyr, в частности, я продолжаю получать сообщение об ошибке "file (con," r "): не удается открыть соединение ..." - PullRequest
Новая
       8

Проблемы при работе с уроками sparklyr, в частности, я продолжаю получать сообщение об ошибке "file (con," r "): не удается открыть соединение ..."

0 голосов
/ 03 мая 2019

Я новичок в sparklyr и хотел бы попрактиковаться в использовании команд в "локальном" режиме Я следовал за учебниками по следующей ссылке:

https://spark.rstudio.com/guides/connections/

Вот основной код, которому я следую: 

sc <- spark_connect(master = "local")

Затем я выполняю следующие команды: 

iris_tbl <- copy_to(sc, iris, "iris", overwrite = TRUE)

и 

iris_tbl %>%
  select(Petal_Width, Petal_Length) %>%
  ml_linear_regression(Petal_Length ~ Petal_Width)

Затем я пытаюсь запустить следующую строку, которая не работает: 

iris_tbl%>%
  spark_apply(nrow,group_by = "Species")

Я получаю следующую ошибку: 

Error in file(con, "r") : cannot open the connection
In addition: Warning message:
In file(con, "r") :
  cannot open file 'C:\Users\********\AppData\Local\Temp\RtmpkNWpfo\file161471765ce6_spark.log': Permission denied

Я вижу файл журнала в папке.

Вот изображение работы:

enter image description here Я также получаю ту же ошибку при попытке этой конфигурации: 

conf <- spark_config()

conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"

sc <- spark_connect(master = "local", 
                    spark_home = "C:\\Users\\*******\\AppData\\Local\\spark\\spark-2.4.0-bin-hadoop2.7",
                    version = "2.4.0",
                    config = conf)

Буду признателен за любую помощь. Спасибо.

...