spark: создание локального режима SparkSession с добавлением локального jar - PullRequest
Новая
       14

spark: создание локального режима SparkSession с добавлением локального jar

0 голосов
/ 07 ноября 2019

Я пытаюсь создать свечу на местном уровне. Я хотел бы передать ему местоположение банки. Я не могу использовать maven по соображениям безопасности.

Я пробовал следующее: (Scala или python ответы в порядке) 

from pyspark.sql import SparkSession
spark = SparkSession.builder\
    .appName('abc')\
    .config("spark.jars","/myfolder/spark-avro_2.12-2.4.4.jar")\
    .master("local[*]")\
    .getOrCreate()
df = spark.read.format("avro").load(file_path)

, но я получаю сообщение о том, что это возможно 'создать экземпляр сеанса. Я не использую Sparksubmit и т. Д., Я запускаю его локально по определенным причинам.

...