Задание snakemake не выполняется, если указан параметр --drmaa-log-dir - PullRequest
Новая
       40

Задание snakemake не выполняется, если указан параметр --drmaa-log-dir

4 голосов
/ 10 апреля 2020

Я использую Snakemake v. 5.7.0. Конвейер работает правильно, когда либо запускается локально, либо отправляется в SLURM через snakemake --drmaa: задания отправляются, все работает как положено. Однако в последнем случае в текущем каталоге создается несколько файлов журнала.

Snakemake, вызываемый с параметром --drmaa-log-dir, создает каталог, указанный в параметре, но не выполняет правила. Файлы журнала не создаются.

Вот минимальный пример. Сначала используется Snakefile: 

rule all:
  shell: "sleep 20 & echo SUCCESS!"

Ниже выводится snakemake --drmaa

Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1
Rules claiming more threads will be scaled down.
Job counts:
        count   jobs
        1       all
        1

[Fri Apr 10 21:03:50 2020]
rule all:
    jobid: 0

Submitted DRMAA job 0 with external jobid 13321.
[Fri Apr 10 21:04:00 2020]
Finished job 0.
1 of 1 steps (100%) done
Complete log: /XXXXX/snakemake_test/.snakemake/log/2020-04-10T210349.984931.snakemake.log

Вот вывод snakemake --drmaa --drmaa-log-dir foobar

Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1
Rules claiming more threads will be scaled down.
Job counts:
        count   jobs
        1       all
        1

[Fri Apr 10 21:06:19 2020]
rule all:
    jobid: 0

Submitted DRMAA job 0 with external jobid 13322.
[Fri Apr 10 21:06:29 2020]
Error in rule all:
    jobid: 0
    shell:
        sleep 20 & echo SUCCESS!
        (one of the commands exited with non-zero exit code; note that snakemake uses bash strict mode!)

Error executing rule all on cluster (jobid: 0, external: 13322, jobscript: /XXXXXX/snakemake_test/.snakemake/tmp.9l7fqvgg/snakejob.all.0.sh). For error details see the cluster log and the log files of the involved rule(s).
Shutting down, this might take some time.
Exiting because a job execution failed. Look above for error message
Complete log: /XXXXX/snakemake_test/.snakemake/log/2020-04-10T210619.598354.snakemake.log

Нет лог файлы создаются. Каталог foobar был создан, но пуст.

Что я делаю не так?

1 Ответ

2 голосов
/ 14 апреля 2020

Проблема с использованием --drmaa-log-dir в slurm была , о которой сообщалось ранее , но, к сожалению, до сих пор не было найдено известного решения.

...