Не удается подключиться к Spark 1.6.0 из оболочки R - PullRequest
Новая
       38

Не удается подключиться к Spark 1.6.0 из оболочки R

0 голосов
/ 19 февраля 2019

В моей среде у меня есть 2 разные версии Spark (2.2.0 и 1.6.0).Я пытаюсь подключиться к Spark 1.6.0 из R и не могу установить соединение с помощью инструкций, приведенных в документации.

Я использую: 

spark_connect(
   master = "yarn-client",  
   config = spark_config(), version = "1.6.0", 
   spark_home = '/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/spark')

Но яя получаю сообщение об ошибке ниже: 

Error in force(code) :
  Failed during initialize_connection: Failed to detect version from SPARK_HOME or SPARK_HOME_VERSION. Try passing the spark version explicitly.
Log: /tmp/RtmplCevTH/file1b51126856258_spark.log

Я могу без проблем подключиться к Spark 2.2.0 и также могу запрашивать данные.

Обратите внимание, что я делалнеправильно.

...