Динамическая загрузка банки в драйвер Spark в блокноте Jupyter

Question

Я хочу динамически загрузить файл jar в драйвер Spark в Juptyer (Scala).Кажется, метод sparkContext.addJar загружает его исполнителям.Есть ли способ загрузить его в драйвер?

Спасибо, Кришна

Answer 1

К сожалению, это невозможно - https://issues.apache.org/jira/browse/SPARK-5377

Answer 2

Добавьте jar в переменную окружения SPARK_CLASSPATH перед запуском spark-shell.

conf / spark-env.sh для включения JAR в вашу библиотеку.

Подробнее Подробнее