Я пытаюсь установить подключение к spark через Rstudio, используя пакет sparklyr, но выдает мне эту ошибку:
Failed while connecting to sparklyr to port (8880) for sessionid (40729): Gateway in localhost:8880 did not respond.
Path: C:\spark\spark-2.0.0-bin-hadoop2.7\bin\spark-submit2.cmd
Parameters: --driver-memory, 2g, --class, sparklyr.Shell, "C:\Users\Juan Ossa\Documents\R\win-library\3.5\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 40729
Log: C:\Users\JUANOS~1\AppData\Local\Temp\RtmpG6SLIz\file40b461315f3b_spark.log
---- Output Log ----
Error occurred during initialization of VM
Could not reserve enough space for 2097152KB object heap
---- Error Log ----
Я уже пытаюсь увеличить максимальный размер кучи, используя:
config[["sparklyr.shell.conf"]] <- "spark.driver.extraJavaOptions=-XX:MaxHeapSize=4g"
но ошибка все еще появляется
Это мой настоящий код:
config <- spark_config()
config[["sparklyr.shell.conf"]] <- "spark.driver.extraJavaOptions=-XX:MaxHeapSize=4g"
sc <- spark_connect(master = "local")
Я положил сюда некоторую sessioninfo (), если мне как-то помогли, и у меня есть ЦП с 12 ГБ ОЗУ:
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
Matrix products: default
locale:
[1] LC_COLLATE=Spanish_Argentina.1252 LC_CTYPE=Spanish_Argentina.1252 LC_MONETARY=Spanish_Argentina.1252
[4] LC_NUMERIC=C LC_TIME=Spanish_Argentina.1252
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] sparklyr_1.0.9005