установка SparkR в клоудере 5.14 - PullRequest
Новая
       13

установка SparkR в клоудере 5.14

0 голосов
/ 24 сентября 2018

Я пытаюсь установить пакет SparkR в R в версии Cloudera 5.14.Я установил JAVA_HOME и SPARK_HOME следующим образом: 

Sys.setenv("JAVA_HOME"="/usr/java/jdk1.8.0_172")
Sys.setenv("SPARK_HOME"="/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/spark")

при запуске для загрузки пакета ошибки нет, и он установлен правильно. 

require(SparkR)
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))

Но при запускесеанс Spark, заданный http://spark.apache.org/docs/latest/sparkr.html#starting-up-from-rstudio как 

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g"))

Я получаю следующую ошибку: 

Spark package found in SPARK_HOME: /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/spark
Launching java with spark-submit command /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/spark/bin/spark-submit   --driver-memory "2g" sparkr-shell /tmp/Rtmp1ieLNy/backend_port6f428753991 
Error: sparkr.zip does not exist for R application in YARN mode.
Run with --help for usage help or --verbose for debug output
Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap,  : 
  JVM is not ready after 10 seconds

Не могу найти нигде с этой ошибкой.Пожалуйста, помогите.

...