Преобразовать исполняемую команду Windows в конфигурацию Spark Session Builder - PullRequest
Новая
       19

Преобразовать исполняемую команду Windows в конфигурацию Spark Session Builder

0 голосов
/ 08 июля 2019 
%SPARK_HOME%/bin/spark-shell --packages saurfang:spark-sas7bdat:2.1.0-s_2.11

Приведенный выше код работает из командной строки Windows и создает сеанс Spark.

Я хочу создать сессию прямо из Jupyter Notebook. В настоящее время я использую приведенную ниже строку кода 

spark =  SparkSession.builder.config("spark.jars.packages","com.github.saurfang:spark-sas7bdat:2.1.0-s_2.11").enableHiveSupport().getOrCreate()

Это дает мне ошибку 

Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.io.FileNotFoundException: File file:/C:/Users/username/.ivy2/jars/saurfang_spark-sas7bdat-2.0.0-s_2.11.jar does not exist.

Я добавил файл saurfang_spark-sas7bdat-2.0.0-s_2.11.jar в папку .ivy2.

...