Однократное выполнение шага массива заданий

Question

• 1000 каталог создан. Это не имеет большого значения, потому что после создания каталога оставшиеся попытки вызывают ошибку при создании каталога. Но всегда лучше избегать сообщений об ошибках в журналах и прерываний шагов slurm. В этом случае пример:

/usr/bin/mkdir: cannot create directory 'TEST_111224': File exists
srun: error: s02r3b83: task 0: Exited with exit code 1
srun: Terminating job step 111226.0

Это правда, что если я выполняю команду mkdir без srun, шаг 0 не существует и это не прекращается резко. Но я все равно получаю сообщение об ошибке.

Answer 1

Используйте параметр -p для mkdir, чтобы mkdir создавал каталог, только если он еще не существует, и у вас не будет ошибок в журнале.

srun mkdir -p $dir

Обратите внимание, что удаление srun в вашем случае ничего не изменит, поскольку требуется только одна задача на задание (--ntasks=1). Ошибка возникает не потому, что многие задачи в задании создают один и тот же каталог, а потому, что многие задания в массиве создают один и тот же каталог.