Я не могу добавить пользовательскую зависимость в classpath искры из zeppelin.
Окружающая среда:
AWS EMR: Zeppelin 0.8.0, Spark 2.4.0
дополнительные конфиги для искрового переводчика:
spark.jars.ivySettings /tmp/ivy-settings.xml
spark.jars.packages my-group-name:artifact_2.11:version
Файлы с my-group-name появились на
spark.yarn.dist.jars
spark.yarn.secondary.jars
Но не доступно через блокнот zeppelin (проверка по import my.lab._)
Однако, когда я запускаю те же самые конфиги для spark-shell, он работает как на локальной машине, так и на ssh на кластере emr
и импорт доступны от искры оболочки
Sun.java.command для zeppelin:
org.apache.spark.deploy.SparkSubmit --master yarn-client ... --conf spark.jars.packages=my-group-name:artifact_2.11:version ... --conf spark.jars.ivySettings=/tmp/ivy-settings.xml ... --class org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer /usr/lib/zeppelin/interpreter/spark/spark-interpreter-0.8.0.jar <IP ADDRESS> 34717 :
Spark представить на emr:
spark-shell --master yarn-client --conf spark.jars.ivySettings="/tmp/ivy-settings.xml" --conf spark.jars.packages="my-group-name:artifact_2.11:version"
Любые советы, где искать ошибки?