начало сеанса зажигания в течение R - PullRequest
Новая
       23

начало сеанса зажигания в течение R

0 голосов
/ 31 мая 2019

Я могу успешно запустить сеанс spark, используя команду sparkR в SPARK_PATH.Но это действительно дает мне предупреждение 

In SparkR::sparkR.session() :
  Version mismatch between Spark JVM and SparkR package. JVM version was 2.3.0.xxxx , while R package version was 2.3.0

Установленная версия spark - 2.3.0.xxxx, где xxxx - это код конкретной компании для собственной развернутой версии spark нашей компании.

Однако, когда я пытаюсь запустить сеанс спарка с помощью команды R. 

library(SparkR)
sparkR.session()

Я получил следующую ошибку: 

Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap,  :
  Unexpected EOF in JVM connection data. Mismatched versions?

Похоже, что у нас есть несовпадение номеров версий, ноАвтономный sparkR только выдает предупреждение, в то время как sparkR.session () в R просто не работает.Я не смогу изменить номер версии нашей установки спарк, так как это версия для конкретной компании.Можно ли как-нибудь обойти это?

Моя версия R - 3.5.1, а версия spark - 2.3.0.

Я пытаюсь использовать sparkR в ноутбуке Jupyter, поэтомувозможность начать сеанс зажигания в пределах установленного сеанса R. гораздо предпочтительнее.

Любое предложение будет по-настоящему оценено.

...