Kubernetes sport отправляется в кластерном режиме - пакеты не работают должным образом - PullRequest
Новая
       73

Kubernetes sport отправляется в кластерном режиме - пакеты не работают должным образом

0 голосов
/ 15 марта 2020

Я пытаюсь отправить искровое задание в кластер kubernetes в режиме cluster с клиента в кластере с атрибутом --packages, чтобы разрешить загрузку зависимостей драйвером и исполнителем, но это не работает. Это относится к пути при отправке клиента. (kubectl proxy включено)

здесь представлены параметры отправки 

   /usr/local/bin/spark-submit \
    --verbose \
    --master=k8s://http://127.0.0.1:8001 \
    --deploy-mode cluster \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
    --conf spark.kubernetes.namespace=spark \
    --conf spark.kubernetes.container.image= <...> \
    --conf spark.executor.instances=2 \
    --conf spark.kubernetes.pyspark.pythonVersion=3 \
    --conf spark.kubernetes.driver.secretKeyRef.AWS_ACCESS_KEY_ID=datazone-s3-secret:AWS_ACCESS_KEY_ID \
    --conf spark.kubernetes.driver.secretKeyRef.AWS_SECRET_ACCESS_KEY=datazone-s3-secret:AWS_SECRET_ACCESS_KEY \
    --packages  com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 \
    s3.py 10

В журналах я вижу, что пакеты ссылаются на мою локальную файловую систему. 

Spark config:
(spark.kubernetes.namespace,spark)
(spark.jars,file:///Users/<my username>/.ivy2/jars/com.amazonaws_aws-java-sdk-1.7.4.jar,file:///Users/<my username>/.ivy2/jars/org.apache.hadoop_hadoop-aws-2.7.3.jar,file:///Users/<my username>/.ivy2/jars/joda-time_joda-time-2.10.5.jar, ....

Кто-нибудь сталкивался с этой проблемой?

...