LSF перемещение файлов в созданный выходной каталог - PullRequest
Новая
       40

LSF перемещение файлов в созданный выходной каталог

0 голосов
/ 20 ноября 2018

При выполнении задания в LSF вы можете указать рабочий каталог и создать выходной каталог, т.е.

bsub -cwd / home / workDir -outdir / home / $ J program inputfile

где он будет искать файл ввода в указанном рабочем каталоге.-Outdir создаст новый каталог на основе JobId.

Что мне интересно, так это то, как вы перенаправляете результаты, созданные в результате выполнения в рабочем каталоге, во вновь созданный выходной каталог.

Вы не можете добавить команду типа

mv * / home /% J

, поскольку базовая ОС не понимает идентификатор% J.Есть ли в LSF опция для передачи данных в задание, где он знает идентификатор задания?

1 Ответ

0 голосов
/ 23 ноября 2018

Вы можете использовать переменную среды $LSB_JOBID. 

mv * /data/${LSB_JOBID}/

Если вы копируете данные в свой скрипт задания, тогда он будет содержать вычислительный ресурс во время копирования данных.Если вы копируете небольшое количество данных, это не проблема.Но если объем данных большой, вы можете использовать bsub -f, чтобы другие задания могли запускаться во время копирования данных. 

bsub -outdir "/data/%J" -f "/data/%J/final < bigfile" sh script.sh

bigfile - это файл, который ваша работа создает на вычислительном хосте.,Он будет скопирован в /data/%J/final после завершения задания.Он даже работает на файловой системе без общего доступа.

...