Я могу подключиться к sparklyr. Но я хотел бы настроить (локально), чтобы использовать все ядра и память.
library(sparklyr)
spark_install(version = "2.1.0")
sc <- spark_connect(master = "local", config = list())
Я бы хотел использовать 8 ядер и 12G (у меня 4 ядра и 16G). Я пробовал следующий код:
config <- spark_config()
config$spark.executor.cores = 4
config$spark.executor.memory = "12G"
Но это ничего не делает. Похоже, он работает, но через 20 минут я остановил код.
Есть ли способ выбрать 4 ядра и 12G памяти?
Спасибо за ваше время
Julen