Почему клиент Dask сообщает, что в моем кластере больше ядер и памяти, чем доступно?

Question

Я пытаюсь понять взаимосвязь между модулями Kubernetes, ядрами и памятью узлов моего кластера при использовании Dask.

Моя текущая настройка выглядит следующим образом:

• кластер Kubernetes с использованием GCP's Kubernetes Engine
• Менеджер пакетов Helm для установки Dask в кластер

Каждый узел имеет 8 ядер и 30 ГБ оперативной памяти. В моем кластере 5 узлов:

Затем я уменьшил количество упаковок до 50, выполнив

kubectl scale --replicas 50 deployment/nuanced-armadillo-dask-worker

Когда я инициализирую клиента в Dask, используя dask.distributed, я вижу следующее

Что меня удивляет, так это то, что клиент говорит, что в моем кластере 400 ядер и 1,58 ТБ памяти (см. Скриншот). Я подозреваю, что по умолчанию каждому модулю выделяется 8 ядер и 30 ГБ памяти, но как это возможно, учитывая ограничения на фактическое количество ядер и памяти в каждом узле?

Answer 1

Если вы не укажете количество ядер или памяти, то каждый работник Dask попытается занять всю машину, на которой он работает.

Для пакета helm вы можете указать количество ядер и объем памяти на одного работника, добавив ограничения ресурсов в спецификацию вашего рабочего модуля. Они перечислены в опциях конфигурации таблицы.