Библиотека графиков импорта ядра Scala для EMR Notebook - PullRequest
Новая
       23

Библиотека графиков импорта ядра Scala для EMR Notebook

0 голосов
/ 12 февраля 2019

Запуск spark-shell --packages "graphframes:graphframes:0.7.0-spark2.4-s_2.11" в оболочке bash работает, и я могу успешно импортировать графические фреймы 0.7, но когда я пытаюсь использовать его в записной книжке scala jupyter, например: 

import scala.sys.process._
"spark-shell --packages \"graphframes:graphframes:0.7.0-spark2.4-s_2.11\""!
import org.graphframes._

выдает сообщение об ошибке: 

<console>:53: error: object graphframes is not a member of package org
   import org.graphframes._

Что из того, что я могу сказать, означает, что он запускает команду bash, но затем все равно не может найти извлеченный пакет.

Я делаю это на ноутбуке EMR, работающем с ядром spark scala.

Должен ли я установить какой-нибудь путь к библиотеке искров в среде jupyter?

1 Ответ

0 голосов
/ 12 февраля 2019

Это просто не должно работать.То, что делает ваш код, - это простая попытка запустить новую независимую оболочку Spark.Кроме того, пакеты Spark должны быть загружены при первоначальной инициализации SparkContext.

Вы должны либо добавить (при условии, что это правильные версии) 

spark.jars.packages graphframes:graphframes:0.7.0-spark2.4-s_2.11

в файлы конфигурации Spark,или используйте эквивалент в вашем SparkConf / SparkSessionBuilder.config до инициализации SparkSession.

...