Как проверить, какие задачи еще выполняются в пакетном задании SLURM?

Question

При планировании пакетного задания в SLURM, например,

sbatch -N 10 batch-script.sh

#!/bin/bash
#SBATCH --job-name=jobname

srun --label /usr/bin/hostname

, можно проверить, какой шаг выполняется в данный момент, с помощью sacct:

       JobID    JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
...
421.1        hostname                  test         10    RUNNING      0:0

Но какМожно ли проверить, какие задачи / узлы все еще выполняются на текущем шаге, а какие завершены? (В этом случае на каждый узел приходится только 1 задача.) Единственная опция, которую я нашел в документации, - это установить команду --task-epilog и что-то записывать, когда каждая задача выполнена.

Было бы здорово увидеть,например, что 8 из 10 узлов завершили свою задачу, а node03 и node08 все еще работают.

Answer 1

Вы можете увидеть, какие узлы активны с помощью команды squeue. Для фильтрации только ваших работ вы можете сделать squeue -u [yourname]. Чтобы постоянно обновлять, вы можете сделать watch -n 1 "squeue -u [yourname]".