Как отправить задание Dask в удаленный кластер Kubernetes с локальной машины - PullRequest
Новая
       11

Как отправить задание Dask в удаленный кластер Kubernetes с локальной машины

2 голосов
/ 07 марта 2019

У меня кластер Kubernetes, настроенный с использованием Kubernetes Engine на GCP.Я также установил Dask с помощью менеджера пакетов Helm.Мои данные хранятся в хранилище Google Storage на GCP.

Запуск kubectl get services на моем локальном компьютере дает следующий вывод

enter image description here

Я могу без проблем открыть приборную панель и ноутбук Jupyter, используя внешний IP.Однако я хотел бы разработать рабочий процесс, в котором я пишу код на своем локальном компьютере, отправляю сценарий в удаленный кластер и запускаю его там.

Как я могу это сделать?

Я пытался следовать инструкциям в Отправка приложений с использованием dask-remote.Я также попытался выставить планировщик, используя kubectl expose deployment с типом LoadBalancer, хотя я не знаю, правильно ли я это сделал.Предложения очень ценятся.

1 Ответ

1 голос
/ 16 марта 2019

Да, если ваш клиент и сотрудники используют одну и ту же программную среду, вы сможете подключить клиента к удаленному планировщику, используя общедоступный IP-адрес. 

from dask.distributed import Client
client = Client('REDACTED_EXTERNAL_SCHEDULER_IP')
...