dask jobqueue не может создать планировщик клиента и рабочих - PullRequest
Новая
       44

dask jobqueue не может создать планировщик клиента и рабочих

1 голос
/ 06 ноября 2019

Я создал сценарий задания, используя dask jobqueue в следующем формате: 

import dask
from dask.distributed import Client
from dask_jobqueue import PBSCluster

cluster = PBSCluster(queue='research',
                     project='DaskOnPBS',
                     local_directory='/lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/',
                     cores=24,
                     processes=2,
                     memory='10GB',
                     resource_spec='select=1:ncpus=24:mem=10GB:vntype=cray_compute')

, когда я запускаю print (cluster.job_script ()), он выдает мне следующий вывод: 

#!/usr/bin/env bash

#PBS -N dask-worker
#PBS -q research
#PBS -A DaskOnPBS
#PBS -l select=1:ncpus=24:mem=10GB:vntype=cray_compute
#PBS -l walltime=00:30:00
JOB_ID=${PBS_JOBID%%.*}

/lus/dal/hpcs_rnd/apps/anaconda3/envs/Jatin/bin/python -m distributed.cli.dask_worker tcp://10.12.1.23:44027 --nthreads 12 --nprocs 2 --memory-limit 5.00GB --name name --nanny --death-timeout 60 --local-directory /lus/dal/hpcs_rnd/Python_Data_Analysis/Jatin/Parallel_Function_Testing/

После этого я пытаюсь создать клиентский интерфейс 

client = Client(cluster)
print(client)

После печати клиента я получаю следующий вывод с 0 работниками, 0 ядрами и 0 памятью. Client interface

Я не уверен, как решить эту проблему. Я думаю, что интерфейс клиента не взаимодействует должным образом с кластером PBS / job_script. Любая идея? Спасибо!

1 Ответ

1 голос
/ 07 ноября 2019

Возможно, ваши рабочие места еще не запущены или ваши сотрудники не могут подключиться. Я рекомендую просмотреть журналы вашего работника, чтобы узнать, дают ли они вам больше информации.

...