spark docker -image-tool Не удается найти docker image

Question

Я развернул искру на куберенце helm install microsoft/spark --version 1.0.0 (тоже попробовал битнами диаграммы с тем же результатом)

тогда, как описано https://spark.apache.org/docs/latest/running-on-kubernetes.html#submitting -приложения к куберне

i go to $ SPARK_HOME / bin

docker-image-tool.sh -r -t my-tag build 

это возвращает Не удается найти docker изображение. Этот сценарий должен быть запущен из работающего дистрибутива Apache Spark.

, но все искровые исполняемые файлы находятся в этом каталоге.

bash-4.4# cd $SPARK_HOME/bin
bash-4.4# ls
beeline               find-spark-home.cmd   pyspark.cmd           spark-class           spark-shell.cmd       spark-sql2.cmd        sparkR
beeline.cmd           load-spark-env.cmd    pyspark2.cmd          spark-class.cmd       spark-shell2.cmd      spark-submit          sparkR.cmd
docker-image-tool.sh  load-spark-env.sh     run-example           spark-class2.cmd      spark-sql             spark-submit.cmd      sparkR2.cmd
find-spark-home       pyspark               run-example.cmd       spark-shell           spark-sql.cmd         spark-submit2.cmd

есть предложения, что я делаю не так? я не сделал никаких других настроек с помощью spark, я что-то упустил? я должен установить docker сам или любые другие инструменты?

Answer 1

Вы смешиваете вещи здесь.

Когда вы запускаете helm install microsoft/spark --version 1.0.0, вы развертываете Spark со всеми предварительными требованиями внутри Kubernetes. Хелм делает всю тяжелую работу за вас. После этого Spark готов к использованию.

Чем после развертывания Spark с помощью Helm вы пытаетесь развернуть Spark изнутри модуля Spark, который уже работает в Kubernetes.

Это две разные вещи, которые не предназначены для смешивания. В этом руководстве объясняется, как запускать Spark на Kubernetes вручную, но, к счастью, это можно сделать с помощью Helm, как вы делали раньше.

Когда вы запускаете helm install myspark microsoft/spark --version 1.0.0, вывод говорит вам, как получить доступ к вашему искровому webui:

NAME: myspark
LAST DEPLOYED: Wed Apr  8 08:01:39 2020
NAMESPACE: default
STATUS: deployed
REVISION: 1
NOTES:
1. Get the Spark URL to visit by running these commands in the same shell:

  NOTE: It may take a few minutes for the LoadBalancer IP to be available.
  You can watch the status of by running 'kubectl get svc --namespace default -w myspark-webui'

  export SPARK_SERVICE_IP=$(kubectl get svc --namespace default myspark-webui -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
  echo http://$SPARK_SERVICE_IP:8080

2. Get the Zeppelin URL to visit by running these commands in the same shell:

  NOTE: It may take a few minutes for the LoadBalancer IP to be available.
  You can watch the status of by running 'kubectl get svc --namespace default -w myspark-zeppelin'

  export ZEPPELIN_SERVICE_IP=$(kubectl get svc --namespace default myspark-zeppelin -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
  echo http://$ZEPPELIN_SERVICE_IP:8080

Давайте проверим это:

$ export SPARK_SERVICE_IP=$(kubectl get svc --namespace default myspark-webui -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
$ echo http://$SPARK_SERVICE_IP:8080
http://34.70.212.182:8080

Если вы откроете к этому URL у вас есть готовый веб-интерфейс Spark.