Как мы можем установить пределы памяти и ресурсов процессора с помощью операторов спарк? - PullRequest
Новая
       167

Как мы можем установить пределы памяти и ресурсов процессора с помощью операторов спарк?

1 голос
/ 04 мая 2020

Я новичок в спарк-операторе. Я запутался, как настроить запрос ресурсов и ограничения в файле YAML, например, в моем случае у меня есть запрос 512 м памяти для модуля драйвера, но как насчет ограничений, он не ограничен? 

spec:
  driver:
    cores: 1
    coreLimit: 200m
    memory: 512m
    labels:
      version: 2.4.5
    serviceAccount: spark

spe c: драйвер: ядра: 1 coreLimit: 200 м памяти: 512 м этикетки: версия: 2.4.5 serviceAccount: spark

1 Ответ

2 голосов
/ 04 мая 2020

Хорошей практикой является установка ограничений при определении файла yaml. Если вы этого не сделаете, вы рискуете использовать все ресурсы на узле в соответствии с этим do c, поскольку нет верхней границы.

Ограничения памяти для драйвера и модули executor устанавливаются внутренним образом бэкэндом планировщика Kubernetes в Spark и вычисляются как значение spark. {driver | executor} .memory + накладные расходы памяти.

...