Мы запускаем Spark Cluster на Kubernetes. Когда мы отправили задания, как показано ниже, все модули драйверов и исполнителей были запущены. Однако приложение не работало, как ожидалось, root причина, как мы подозревали, заключалась в том, что ему не удалось найти исходный путь, указанный в параметре «py-files». Как мы видели, в модуле драйверов есть предупреждение MountVolume.Setup failed для тома "spark-conf-volume". Не могли бы вы посоветовать?
bin/spark-submit \
--master k8s://https://k8s-master-ip:6443 \
--deploy-mode cluster \
--name algo-vm \
--py-files hdfs://{our_ip}:9000/testdata/src.zip \
--conf spark.executor.instances=2 \
--conf spark.driver.port=10000 \
--conf spark.port.maxRetries=1 \
--conf spark.blockManager.port=20000 \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.kubernetes.container.image.pullPolicy=Always \
--conf spark.kubernetes.pyspark.pythonVersion=3 \
--conf spark.kubernetes.container.image={our_ip}/sutpc/k8s-spark-242-entry/spark-py:1.0 \
--jars hdfs://hdfs-master-ip:9000/jar/spark-sql-kafka-0-10_2.11-2.4.5.jar,hdfs://{our_ip}:9000/jar/kafka-clients-0.11.0.2.jar \
hdfs://{our_ip}:9000/testdata/spark_main.py