Как я могу получить DASK в моем виртуальном частном облаке? - PullRequest
Новая
       4

Как я могу получить DASK в моем виртуальном частном облаке?

1 голос
/ 25 января 2020

Мы ищем решение для параллельных вычислений в моей компании, и мы остановились на DASK. Я должен поместить его в виртуальное частное облако, но с открытым исходным кодом, и у меня нет опыта в этом. Кто-нибудь может посоветовать, как настроить его на VP C?

1 Ответ

3 голосов
/ 25 января 2020

Я бы начал с самого простого развертывания: получить большой ящик на Amazon или Azure, установить дистрибутив Anaconda python и запустить dask (и jupyter). Если у вас есть специалист по данным, использующий Jupyter в этом окне, он может просто выполнить 

from dask.distributed import Client
client = Client()

, что увеличит LocalCluster на этом компьютере.

Если вы хотите получить доступ вместо кластера dask с другого компьютера, вам просто нужно выполнить несколько процессов

Чтобы запустить планировщик: 

$ dask-scheduler
Scheduler started at 127.0.0.1:8786

И затем запустить несколько рабочих (в идеале, по одному на ядро) 

$ dask-worker 127.0.0.1:8786
$ dask-worker 127.0.0.1:8786
$ dask-worker 127.0.0.1:8786

Затем вы можете выставить 8786 во внешний мир через туннели s sh

Существует много более сложных настроек - работающих на k8s или в службе контейнеров elasti c , но если вам это нужно, действительно зависит от вашего варианта использования.

У Saturn Cloud есть корпоративный продукт Dask на AWS рынке, который сделает более сложное развертывание k8s для вас. (отказ от ответственности: я один из основателей)

...