Как загрузить задания локального исполнителя в удаленный Kubernetes, используя spark 2.4? - PullRequest
Новая
       45

Как загрузить задания локального исполнителя в удаленный Kubernetes, используя spark 2.4?

0 голосов
/ 28 ноября 2018

Согласно этому документу , я могу использовать приведенную ниже команду для загрузки локального файла JAR в удаленный кластер Kubernetes: 

$ bin/spark-submit \
    --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=5 \
    --conf spark.kubernetes.container.image=<spark-image> \
    local:///path/to/examples.jar

Однако команде не удалось загрузить мой локальный файл.флягаИ тогда я понял, что в ссылке есть раздел, в котором говорится: 

Note that using application dependencies from the submission client’s local file system is currently not yet supported.

Есть ли какое-нибудь решение этой проблемы?Как загрузить файл jar локальных заданий исполнителя в удаленный кластер Kubernetes?

...