Настройка файла slurm.conf для одного компьютера - PullRequest
Новая
       5

Настройка файла slurm.conf для одного компьютера

0 голосов
/ 28 октября 2018

Привет! Я пытаюсь использовать конвейер обработки, который написан для запуска на нескольких компьютерных кластерах с использованием slurm, однако я бы предпочел запустить его на одном компьютере.Я нахожусь на Ubuntu 18 и установил slurm-wlm, однако я не смог получить конвейер для чтения моего файла slurm.conf, который я сделал из онлайн-инструмента настройки Slurm версии 18.08, с целью запустить его как один узел, поэтому яне нужно переписывать код конвейера.

Каждый раз, когда я пытаюсь запустить этот сценарий sh скрипта, файл журнала выдает эту ошибку

sbatch: error: _parse_next_key: ошибка синтаксического анализа в нераспознанном ключе: SlurmctldHost sbatch: ошибка: синтаксический анализ ошибки в файле /etc/slurm-llnl/slurm.conf строка 2: «SlurmctldHost = charlie-Z370M-D3H» sbatch: фатально: невозможно обработать файл конфигурации

charlie-Z370M-D3H - это имя хоста

, ниже - мой текст slurm.conf, и я надеюсь, что кто-нибудь увидит, что мне нужно сделать, чтобы это заработало 

#
SlurmctldHost=charlie-Z370M-D3H
#SlurmctldHost=
#
#DisableRootJobs=NO
#EnforcePartLimits=NO
#Epilog=
#EpilogSlurmctld=
#FirstJobId=1
#MaxJobId=999999
#GresTypes=
#GroupUpdateForce=0
#GroupUpdateTime=600
#JobFileAppend=0
#JobRequeue=1
#JobSubmitPlugins=1
#KillOnBadExit=0
#LaunchType=launch/slurm
#Licenses=foo*4,bar
#MailProg=/bin/mail
#MaxJobCount=5000
#MaxStepCount=40000
#MaxTasksPerNode=128
MpiDefault=none
#MpiParams=ports=#-#
#PluginDir=
#PlugStackConfig=
#PrivateData=jobs
ProctrackType=proctrack/cgroup
#Prolog=
#PrologFlags=
#PrologSlurmctld=
#PropagatePrioProcess=0
#PropagateResourceLimits=
#PropagateResourceLimitsExcept=
#RebootProgram=
ReturnToService=1
#SallocDefaultCommand=
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmctldPort=6817
SlurmdPidFile=/var/run/slurmd.pid
SlurmdPort=6818
SlurmdSpoolDir=/var/spool/slurmd
SlurmUser=slurm
#SlurmdUser=root
#SrunEpilog=
#SrunProlog=
StateSaveLocation=/var/spool
SwitchType=switch/none
#TaskEpilog=
TaskPlugin=task/affinity
TaskPluginParam=Sched
#TaskProlog=
#TopologyPlugin=topology/tree
#TmpFS=/tmp
#TrackWCKey=no
#TreeWidth=
#UnkillableStepProgram=
#UsePAM=0
#
#
# TIMERS
#BatchStartTimeout=10
#CompleteWait=0
#EpilogMsgTime=2000
#GetEnvTimeout=2
#HealthCheckInterval=0
#HealthCheckProgram=
InactiveLimit=0
KillWait=30
#MessageTimeout=10
#ResvOverRun=0
MinJobAge=300
#OverTimeLimit=0
SlurmctldTimeout=120
SlurmdTimeout=300
#UnkillableStepTimeout=60
#VSizeFactor=0
Waittime=0
#
#
# SCHEDULING
#DefMemPerCPU=0
FastSchedule=1
#MaxMemPerCPU=0
#SchedulerTimeSlice=30
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_Core
#
#
# JOB PRIORITY
#PriorityFlags=
#PriorityType=priority/basic
#PriorityDecayHalfLife=
#PriorityCalcPeriod=
#PriorityFavorSmall=
#PriorityMaxAge=
#PriorityUsageResetPeriod=
#PriorityWeightAge=
#PriorityWeightFairshare=
#PriorityWeightJobSize=
#PriorityWeightPartition=
#PriorityWeightQOS=
#
#
# LOGGING AND ACCOUNTING
#AccountingStorageEnforce=0
#AccountingStorageHost=
#AccountingStorageLoc=
#AccountingStoragePass=
#AccountingStoragePort=
AccountingStorageType=accounting_storage/none
#AccountingStorageUser=
AccountingStoreJobComment=YES
ClusterName=cluster
#DebugFlags=
#JobCompHost=
#JobCompLoc=
#JobCompPass=
#JobCompPort=
JobCompType=jobcomp/none
#JobCompUser=
#JobContainerType=job_container/none
JobAcctGatherFrequency=30
JobAcctGatherType=jobacct_gather/none
SlurmctldDebug=3
#SlurmctldLogFile=
SlurmdDebug=3
#SlurmdLogFile=
#SlurmSchedLogFile=
#SlurmSchedLogLevel=
#
#
# POWER SAVE SUPPORT FOR IDLE NODES (optional)
#SuspendProgram=
#ResumeProgram=
#SuspendTimeout=
#ResumeTimeout=
#ResumeRate=
#SuspendExcNodes=
#SuspendExcParts=
#SuspendRate=
#SuspendTime=
#
#
# COMPUTE NODES
NodeName=linux[1-32] CPUs=1 State=UNKNOWN
PartitionName=debug Nodes=linux[1-32] Default=YES MaxTime=INFINITE State=UP

1 Ответ

0 голосов
/ 28 мая 2019

У меня была такая же проблема, и оказалось, что conf-файл, созданный на этой веб-странице, действителен только для 18.08. Если вы посмотрите на веб-страницу, где вы создали файл slurm.conf, вы можете заметить, что он действителен толькодля версии 18.08.Таким образом, пожалуйста, убедитесь, что ваша версия SLURM имеет как минимум 18.x, так как ключ "SlurmctldHost" в файле conf был введен тогда.

Вы можете проверить свою версию SLURM, просто набрав "dpkg -l | grep slurm "и обратите внимание, какая версия установлена.Для Ubuntu 18.x установленный по умолчанию пакет имеет версию slurm 17.11.9.(Возможно, вам придется скачать исходный код с https://www.schedmd.com/archives.php, выбрав версию, которую вы установили, и загрузить ее на локальный компьютер.

Распакуйте ее и просмотрите "/ doc / html /"-dir, где вы найдете соответствующий configurator-html-script для вашей версии.) Например, если ваша версия 17.11.9, то соответствующий ключ «SlurmctldHost» (как введено в 18.08), это «ControlMachine» в версии17.11.9.Так что используйте configurator-html-script в вашем локальном slurm-doc-dir, чтобы сгенерировать действительный slurm.conf для вашей установленной версии slurm.Я сделал это, и он отлично работает.

...