Запуск Spark 3.0 в Kubernetes - ошибка получения образа - PullRequest
Новая
       33

Запуск Spark 3.0 в Kubernetes - ошибка получения образа

0 голосов
/ 03 августа 2020

Пытаюсь запустить Spark на Kubernetes по инструкции на официальном сайте: Spark Kubernetes . Я выполнил инструкции по созданию изображения, используя предоставленный ими сценарий, как показано ниже: 

./bin/docker-image-tool.sh -r <repo> -t my-tag -p ./kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

Для <repo> я использовал pyspark. Моя искровая отправка для Kubernetes выглядит следующим образом: 

./bin/spark-submit \
    --master k8s://https://<ipaddress>:<port>\
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=pyspark/spark-py:my-tag \
    --conf spark.kubernetes.file.upload.path=/usr/local/spark/examples \
    local:///usr/local/spark/examples/spark-examples_2.12-3.0.0.jar

Настройки кубернетов выглядят нормально, однако у модулей возникают проблемы с извлеченными изображениями, что приводит к перезапуску. Я не уверен, что у меня правильная номенклатура изображения.

1 Ответ

2 голосов
/ 03 августа 2020

В примере используется pyspark / spark-py: my-tag в качестве образа контейнера, который должен присутствовать. Поскольку его нет, вы получаете сообщение об ошибке как Image Pull Error. Вы можете поместить sh свой образ в dockerhub или свой частный реестр и использовать его как example.com/repo/spark:v1.0.0, где example.com - это ваш частный реестр, а репо - это ваш репозиторий.

Также при запуске ./bin/docker-image-tool.sh -r <repo> -t my-tag build, вам необходимо указать репо. Ваша команда должна быть такой: ./bin/docker-image-tool.sh -r docker.io/myrepo -t v2.3.0 -p kubernetes/dockerfiles/spark/bindings/python/Dockerfile build

Если вы используете minikube, то создание изображений будет выполняться непосредственно в демон minikube Docker. В этом случае нет необходимости помещать sh изображения в minikube, они будут автоматически доступны при запуске приложений внутри кластера minikube.

...