Развертывание искровой банки на кластере Кубернетес

Question

В настоящее время я пытаюсь развернуть пример jar-файла jar в кластере Kubernetes, работающем в IBM Cloud.Я не очень опытен с обоими из них, поэтому я надеюсь, что вы, ребята, сможете мне помочь.

Если я попытаюсь следовать этим инструкциям, чтобы развернуть искру в кластере kubernetes (https://spark.apache.org/docs/latest/running-on-kubernetes), Я не могузапустить Spark Pi, потому что я всегда получаю сообщение об ошибке

Системе не удается найти указанный файл

после ввода кода

bin/spark-submit \
    --master k8s://<url of my kubernetes cluster> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///examples/jars/spark-examples_2.11-2.3.0.jar

хотя я нахожусь в правильном каталоге, поэтому файл существует в каталоге examples / jars.

Я был бы очень благодарен за вашу помощь!

Answer 1

Убедитесь, что ваш файл .jar присутствует внутри образа контейнера.

Инструкция говорит, что она должна быть там:

Наконец, обратите внимание, что в приведенном выше примере мы указываем банку с конкретный URI со схемой local: //. Этот URI является местоположением пример jar , который уже находится в образе Docker .

Answer 2

Пожалуйста, убедитесь, что этот абсолютный путь /examples/jars/spark-examples_2.11-2.3.0.jar существует.

Или вы пытаетесь загрузить файл JAR в текущем каталоге, в этом случае это должен быть относительный путь, например local://./examples/jars/spark-examples_2.11-2.3.0.jar.

Я не уверен, если spark-submit принимает относительный путь или нет.