Как связать узлы в блокноте jupyter с помощью dask - PullRequest
Новая
       38

Как связать узлы в блокноте jupyter с помощью dask

1 голос
/ 24 марта 2020

Итак, я работаю на кластере HP C, используя Slurm. Я уже получил нужные мне узлы (sallo c --nodes = 16 -t08: 00: 00 --qos = интерактивный). Есть ли способ запустить dask на ноутбуке jupyter, который я открываю, и все эти узлы связаны без необходимости ждать, пока dask_jobqueue.SLURMCluster () получит все новые узлы?

Кроме того, есть ли способ добавить "--qos = interactive) для процедуры SLURMCluster ()?

Спасибо

подробнее: я получаю доступ к интерфейсу hp c через s sh. Далее I получить узлы на машине с помощью: sallo c --nodes = 16 -t08: 00: 00 --qos = интерактивно, затем я запускаю блокнот: jupyter notebook --no-browser --port = 9999 Далее я s sh туннель в записную книжку: s sh -4 -t -L 9999: локальный хост: 9999 lhovey@xxxx.lanl.gov s sh -t -L 9999: локальный хост: 9999 гг-вв s sh -L 9999: локальный хост: 9999 nodename Затем я загружаю ссылку на блокнот jupyter в свой браузер и в настоящее время нахожусь в моем блокноте.

Что я хочу сделать, так это параллельная обработка больших массивов изображений. Когда я на ноутбуке, я просто хочу связать это к другим 15 узлам, которые я уже приобрел, поэтому мне не нужно запускать команду SLURMCluster от dask_jobqueue и ждите, чтобы получить все новые узлы. основная причина в том, что я получаю узлы быстрее с помощью --qos = interactive, и я не могу (я думаю) использовать эту опцию в dask

1 Ответ

0 голосов
/ 26 марта 2020

Команда dask-ssh была создана именно для вашего варианта использования. Пожалуйста, следуйте инструкциям там.

В качестве альтернативы, вы можете рассматривать вашу ситуацию как «голую железу», и вы можете сами решить, на каком узле будет размещен ваш планировщик - выполнить dask-scheduler на этом узле - и выполнить dask-worker на других узлах, давая адрес планировщика. Тот же адрес планировщика - тот, который вам нужно дать вашему Client в записной книжке.

Внимательно обратите внимание на сетевой интерфейс, используемый каждым исполняемым файлом, как в среде HP C, вы часто имеют несколько вариантов выбора.

...