Подключиться к существующему кластеру Kubernetes Dask - PullRequest
Новая
       110

Подключиться к существующему кластеру Kubernetes Dask

0 голосов
/ 13 марта 2020

Используя Шлем , я создал кластер Dask. 

NAME                               READY   STATUS    RESTARTS   AGE
dask01-jupyter-aaa-aaaa            1/1     Running   0          3d19h
dask01-scheduler-bbb-bbbb          1/1     Running   0          3d19h
dask01-worker-ccc-cccc             1/1     Running   0          3d19h
dask01-worker-ddd-dddd             1/1     Running   0          3d19h
dask01-worker-eee-eeee             1/1     Running   0          3d19h

Я могу запустить базовую c рабочую нагрузку Dask. 

import dask.array as da

array = da.ones((1000, 1000, 1000), chunks=(100, 100, 10))

Сейчас Я хотел бы как-то подключить его к клиенту: 

from dask import distributed

cluster = None # TODO: configure KubeCluster somehow https://kubernetes.dask.org/en/latest/
client = distributed.Client(cluster)

Это работает, если я хочу запустить кластер : 

from dask_kubernetes import KubeCluster

cluster = KubeCluster.from_yaml('worker-spec.yml')

Но как мне подключиться к существующему кластеру?

...