Как указать количество ядер и спецификацию памяти при подключении к spark 2.4 на kubernetes? - PullRequest
0 голосов
/ 22 декабря 2018

Я могу подключиться к Spark 2.4 в Kubernetes.Вот мой код ниже для конфигурации:

conf.setMaster("k8s://https://192.168.1.1:6443") \
    .set("spark.submit.deployMode",'client') \
    .set("spark.kubernetes.namespace","spark-project1") \
    .set("spark.driver.host","192.168.1.1") \
    .set("spark.driver.port","7787") \
    .set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.mount.path","/opt/spark/work-dir") \
    .set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.mount.readOnly","False") \
    .set("spark.kubernetes.driver.volumes.persistentVolumeClaim.volume.options.claimName","myclaim") \
    .set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.mount.path","/opt/spark/work-dir") \
    .set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.mount.readOnly","False") \
    .set("spark.kubernetes.executor.volumes.persistentVolumeClaim.volume.options.claimName","myclaim") \
    .set("spark.kubernetes.container.image","192.168.1.1:5000/spark/spark-py:v1") \
    .set("spark.executor.instances","3") \
    .set("spark.kubernetes.pyspark.pythonVersion","3") \
    .set("spark.executor.memory", "100g") \
    .set("spark.kubernetes.authenticate.driver.serviceAccountName","spark")

Однако я вижу, как создаются рабочие-контейнеры, имеющие только 1 ядро ​​и 185 ГБ памяти.

Что мне здесь не хватает?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...