Dask - Как подключиться к работающему кластерному планировщику и получить доступ к total_occupancy?

Question

Я использую следующее для создания локального кластера из ноутбука Jupyter:

from dask.distributed import Client, LocalCluster

cluster = LocalCluster(n_workers=24)
c = Client(cluster)

Можно ли подключиться из другого ноутбука, когда ядро ​​занято (операция вычисления)?

Моя цель, например, получить доступ к «total_occupancy».

Answer 1

Как рекомендует @moshevi, вы можете подключиться к планировщику, указав адрес.

client = Client("address-of-scheduler")

Затем вы можете использовать команду client.run_on_scheduler для выполнения операций на удаленном планировщике

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.total_occupancy)

https://docs.dask.org/en/latest/futures.html#distributed .Client.run_on_scheduler

Answer 2

Вы можете подключиться к работающему кластеру:

c_diffrent_notebook = Client('127.0.0.1:8786')  # '127.0.0.1:8786' is the default

Я бы посоветовал явно указать хост в исходном кластере и не полагаться на значение по умолчанию.

Вы можете получить доступ к планировщику через кластер клиентов:

c_diffrent_notebook.cluster.scheduler.total_occupancy