Изящная «отделка» дамского кластера - PullRequest
Новая
       32

Изящная «отделка» дамского кластера

0 голосов
/ 13 февраля 2019

Я не могу понять, как изящно выпустить выделенный SLURMCluster.Мой код делает это: 

from dask_import compute, delayed 
from dask_jobqueue import SLURMCluster 
from dask.distributed import Client

cluster = SLURMCluster(cores = 2, memory = '2GB') 

workers = cluster.start_workers(5)  # problem 1: workers is a NoneType object

client = Client(cluster)

def func(x):
    pass

r1 = client.submit(func, 10) 
r2 = client.submit(func, 20)
res = client.gather([r1, r2])

client.close()

На данный момент состояние кластера по-прежнему отображается как «работает» в очереди.

В настоящее время я делаю 

cluster.stop(cluster.running_jobs)

востановить кластер.Это правильный способ сделать это?

Обратите внимание, что я не могу позвонить cluster.stop_workers(workers), так как вышеприведенный вызов cluster.start_workers(5) возвращает NoneType.

Будут признательны за любые указатели.

...