Указание ресурсов SLURM при параллельном выполнении нескольких заданий

Question

Согласно ответам здесь Что задачи --ntasks или -n делают в SLURM? можно параллельно запускать несколько заданий с помощью параметра ntasks для sbatch, за которым следует srun.Чтобы задать дополнительный вопрос - как указать объем памяти, необходимый для параллельного выполнения заданий?

Если, скажем, 3 задания выполняются параллельно, для каждого из которых требуется 8 ГБ памяти, то можно было бы указать 24 ГБ памяти в sbatch (т. Е. Сумму памяти для всех заданий) или не дать параметры памяти в sbatch, новместо этого укажите 8G памяти для каждого srun?

Answer 1

Вам необходимо указать требования к памяти в скрипте, представленном с sbatch, в противном случае вы получите распределение памяти по умолчанию, которое может не соответствовать вашим потребностям.Если затем вы укажете 8 ГБ памяти в вызове srun, вы можете не получить ни одного задания, которое может быть запущено, если объем памяти по умолчанию меньше этого, или иметь только одно или два задания, работающих параллельно, если объем памяти по умолчанию находится между16 и 24 ГБ.

Вы можете запросить --mem=24GB, но это обеспечивает меньшую гибкость, чем указание --mem-per-cpu=8G.