Расположение задания Spark в кластере kubernetes - ошибки такого файла нет

Question

Я пытаюсь отправить приложение Spark в кластер Kubernetes, файл задания находится по адресу: / opt / spark / Applications / path, отправка сообщения об иске выполняется с помощью следующей команды:

${SPARK_PATH}/bin/spark-submit \
--master <K8S_MASTER> \
--deploy-mode cluster \
--name spark-py-driver \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=spark-py:2.4.0-rc3 \
--conf spark.kubernetes.driver.pod.name=spark-py-driver \
--conf spark.executor.memory=2g \
--conf spark.driver.memory=2g \
local:///opt/spark/applications/spark_submit_test_job.py

Получаю 'Нет такогоошибка файла или каталога, хотя файл задания находится по пути к узлу.

python: can't open file '/opt/spark/applications/spark_submit_test_job.py': [Errno 2] No such file or directory

Answer 1

В инструкции по искре, работающей на Kubernetes , указано:

Наконец, обратите внимание, что в приведенном выше примере мы указываем банку с конкретным URI со схемой local://.Этот URI является местоположением примера jar, который уже находится в образе Docker .

Вам необходимо создать правильный файл Docker со сценарием, уже присутствующим на изображении.

Лучшим решением было бы использование репозитория, который можно загрузить при запуске образа, или вместо него можно использовать Удаленные зависимости