КАК ДОБАВИТЬ РАБОТНИКОВ динамически в локальный кластер

Question

У меня есть локальный кластер. Как я могу добавить больше работников в этот локальный кластер с помощью объекта клиента.

Answer 1

Вы не будете делать это с объектом Client, но вместо этого с Cluster. Затем используйте cluster.scale(...):

In [1]: from dask.distributed import Client, LocalCluster

In [2]: cluster = LocalCluster()

In [3]: client = Client(cluster)

In [4]: client
Out[4]: <Client: 'tcp://127.0.0.1:37971' processes=12 threads=96, memory=1.62 TB>

In [5]: cluster.scale(20)

In [6]: client
Out[6]: <Client: 'tcp://127.0.0.1:37971' processes=20 threads=160, memory=2.70 TB>

Вы также можете посмотреть на адаптивное масштабирование: https://docs.dask.org/en/latest/setup/adaptive.html