Не удалось запустить пример Spark на Kubernetes

Question

• My Ma c OS / X Версия: 10.15.3
• Версия Minikube: 1.9.2

Я запускаю minikube, используя следующую команду без каких-либо дополнительная конфигурация.

minikube start --driver=virtualbox
--image-repository='registry.cn-hangzhou.aliyuncs.com/google_containers' --cpus 4 --memory 4096 --alsologtostderr

И я загружаю spark-2.4.5-bin-hadoop2.7 с официального сайта Spark и создаю образы свечей с помощью следующей команды

eval $(minikube docker-env)
./bin/docker-image-tool.sh -m -t 2.4.5 build

, затем я запустить Spark-pi с помощью следующей команды на моем локальном компьютере, где хранится Spark 2.4.5.

kubectl create serviceaccount spark
kubectl create clusterrolebinding spark-role --clusterrole=admin --serviceaccount=default:spark --namespace=default
./bin/spark-submit \
--master k8s://https://192.168.99.104:8443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.executor.instances=1 \
--conf spark.kubernetes.container.image=spark:2.4.5 \
local:///opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar

Я получаю следующую ошибку

полный журнал можно найти на полный журнал

Может кто-нибудь объяснить эту ошибку и как ее решить?

Answer 1

Пожалуйста, проверьте версию Kubernetes, которую вы запустили с Minikube.

Spark v2.4.5 fabric8 Клиент Kubernetes v4.6.1 совместим с API Kubernetes вплоть до 1.15.2 (см. answer ).

Вы можете запустить указанную c версию API Kubernetes с Minikube, добавив флаг --kubernetes-version к команде minikube start (см. документы ).

Также проблема может быть вызвано ошибкой библиотеки OkHttp, описанной в комментарии this quration.