Подключение RStudio к Spark в IBM Watson Studio - PullRequest
Новая
       35

Подключение RStudio к Spark в IBM Watson Studio

0 голосов
/ 14 февраля 2019

Я пытаюсь подключиться к Spark из экземпляра RStudio в IBM Watson Studio, но получаю следующую ошибку: 

    No encoding supplied: defaulting to UTF-8. Error in force(code) : 
    Failed during initialize_connection: attempt to use zero-length 
    variable name
    Log: /tmp/Rtmpdee7QC/file1b33141066_spark.log


    ---- Output Log ----
    hummingbird kernel
    http://localhost:8081/apsrstudio/agent/v1/kernel/hb-connect ; Time 
    Diff :1.31352798938751
    {"code": "import sparklyr._"} ; Time Diff :0.00552034378051758

Вот код, который я использую для создания соединения: 

    kernels <- load_spark_kernels()
    sc <- spark_connect(config = kernels[1])

Любая помощь будет принята с благодарностью!

Ответы [ 2 ]

0 голосов
/ 21 февраля 2019

Мне удалось решить эту проблему!Похоже, я пропустил токен доступа к проекту.Жетоны доступа к проекту могут быть созданы вручную, как описано здесь .Токены могут быть созданы на странице настроек вашего проекта.По приведенной выше ссылке:

Создайте токен доступа на странице настроек вашего проекта.Только администраторы проекта могут создавать токены доступа.Маркер доступа может иметь права доступа для просмотра или редактирования.Только редакторы могут вставлять токен в блокнот.

После добавления токена доступа к проекту я мог без проблем подключиться к Spark с помощью кода, приведенного в вопросе. 

kernels <- load_spark_kernels()
sc <- spark_connect(config = kernels[1])
0 голосов
/ 19 февраля 2019

Если вы используете IBM Watson Studio on Cloud и используете в нем Rstudio, вы должны использовать list_spark_kernels() для составления списка ядер. 

kernels <- list_spark_kernels()

Затем использовать spark_connect () для подключения к нему.Еще одна вещь, не обновляйте sparklyr, если вы это сделали, удалите его.Поскольку sparklyr в Rstudio в облаке watson studio настроен так, чтобы иметь возможность подключаться к сервису spark из IBM Cloud. 

sc <- spark_connect(config = kernels[1])

При удалении sparklyr или удалении вашей версии sparklyr будет загружен оригинальный sparklyr (настроенный).

Надеюсь, это поможет.

...