Создание планировщиков dask_jobqueue для запуска на пользовательском HPC - PullRequest
Новая
       21

Создание планировщиков dask_jobqueue для запуска на пользовательском HPC

0 голосов
/ 13 октября 2019

Я новичок в dask и пытаюсь использовать его в нашем кластере, который использует планировщик заданий NC (из Runtime Design Automation, аналогично LSF). Я пытаюсь создать класс NCCluster, похожий на LSFCluster, чтобы все было просто.

Каковы этапы создания планировщика заданий для пользовательских кластеров? Есть ли какой-либо другой способ сопряжения dask с пользовательскими кластерами без использования JobQueueCluster?

Я мог найти информацию о том, как использовать LSFCluster / PBSCluster / ..., но не смог найти много информации о его создании дляразные HPC.

Любые ссылки на материалы / примеры / документы помогут

Спасибо

Ответы [ 2 ]

0 голосов
/ 15 октября 2019

Получил работу после прохождения исходного кода. Советы для всех, кто пытается:

  • Создайте класс customCluster & customJob, аналогичный LSFCluster & LSFJob.
  • Переопределите следующее
    • submit_command
    • cancel_command
    • имя_конфигурации (вам нужно определить его в jobqueue.yaml)
    • В зависимости от кластера вам может потребоваться переопределить _submit_job, _job_id_from_submit_ouput и другие функции.

Надеюсь, это поможет.

0 голосов
/ 15 октября 2019

По состоянию на 2019-10-14 нет документации о том, как создать новый менеджер кластера для dask-jobqueue. При этом, исходный код не плохой. Я призываю вас принять участие в отслеживании проблем GitHub. https://github.com/dask/dask-jobqueue/issues/new

...