Я следую этому руководству, чтобы запустить контейнер zeppelin в локальном кластере kubernetes, настроенном с помощью minikube.
https://zeppelin.apache.org/docs/0.9.0-SNAPSHOT/quickstart/kubernetes.html
Я могу установить до zeppelin и запустите там пример кода. Я скачал исходный код spark 2.4.5 и 2.4.0 и собрал его для поддержки kubernetes с помощью следующей команды:
./build/mvn -Pkubernetes -DskipTests clean package
После сборки spark я создал контейнер docker, как описано в статье:
bin/docker-image-tool.sh -m -t 2.4.X build
Я настроил zeppelin для использования изображения искры, созданного с поддержкой kubernetes. В вышеприведенной статье объясняется, что интерпретатор искры автоматически настраивает спарк на kubernetes для запуска в режиме клиента и запуска задания.
Но всякий раз, когда я пытаюсь запустить любой параграф с искрой, я получаю следующую ошибку
Exception in thread "main" java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local
Я попытался установить конфигурацию spark spark.jars.ivy в zeppelin, чтобы она указывала на временный каталог, но это тоже не работает.
Я обнаружил похожую проблему здесь: basedir должно быть абсолютным:? /. Ivy2 / local
Но я не могу настроить искру для запуска с spark.jars.ivy /tmp/.ivy конфиг. Я пытался создать spark с помощью spark-defaults.conf при создании spark, но, похоже, это тоже не сработало.
Довольно озадачен этой проблемой, и как ее решить, любое руководство будет оценил.
Спасибо!