Я могу подключиться к Spark 2.4 в Kubernetes.Вот мой код ниже для конфигурации:
conf.setMaster("k8s://https://192.168.1.1:6443") \
.set("spark.submit.deployMode",'client') \
.set("spark.kubernetes.namespace","spark-project1") \
.set("spark.driver.host","192.168.1.1") \
.set("spark.driver.port","7787") \
.set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.mount.path","/opt/spark/work-dir") \
.set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.mount.readOnly","False") \
.set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.options.claimName","myclaim") \
.set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.mount.path","/opt/spark/work-dir") \
.set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.mount.readOnly","False") \
.set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.options.claimName","myclaim") \
.set("spark.kubernetes.container.image","192.168.1.1:5000/spark/spark-py:v1") \
.set("spark.executor.instances","3") \
.set("spark.kubernetes.pyspark.pythonVersion","3") \
.set("spark.executor.memory", "100g") \
.set("spark.kubernetes.authenticate.driver.serviceAccountName","spark")
Однако я вижу, как создаются рабочие-контейнеры, имеющие только 1 ядро и 185 ГБ памяти.
Что мне здесь не хватает?