Дождитесь всех заданий LSF с заданным именем, переопределяя JOB_DEP_LAST_SUB = 1 - PullRequest
0 голосов
/ 14 апреля 2020

У меня есть большая вычислительная задача, состоящая из нескольких этапов, которую я выполняю на кластере P C, управляемом LSF.

Часть этой задачи включает запуск нескольких параллельных заданий с одинаковыми именами , Задания несколько отличаются, поэтому их трудно преобразовать в массив заданий.

Следующий шаг этого вычисления, следующий за этими заданиями, суммирует их результаты, поэтому он должен ждать, пока все они не будут завершены.

Я пытаюсь использовать ключ командной строки -w ended(job-name) для bsub, как обычно, чтобы указать зависимости задания.

Однако администраторы кластера установили JOB_DEP_LAST_SUB = 1 в lsb.params.

В соответствии с руководством LSF , это заставляет LSF ожидать только одного самого последнего задание с указанным именем для завершения вместо всех заданий.

Возможно ли переопределить это поведение для моей задачи, только не прося администраторов перенастроить весь кластер (этот кластер используется многими людьми, это маловероятно что они согласны)?

Я не могу найти никаких подсказок в руководстве.

1 Ответ

0 голосов
/ 19 апреля 2020

Похоже, его нельзя переопределить.

Я изменил имена заданий, чтобы сделать их уникальными, добавив случайное значение, затем изменил условие на -w ended(job-name-*)

...