Моя цель - создать N процессов, которые вызывают внешнее программное обеспечение (вне скрипта Python), которое принимает в качестве входных данных строку, включая один из N фрагментов данных из массива. Вывод должен возвращаться упорядоченным, как в массиве. Я хочу сделать это на многих узлах кластера HPC, который использует планирование slurm.
Я пытался использовать mpi4py и subprocess для этой задачи, но заметил, что была задержка, скорее всего из-за нереста столь многих подпроцессов (порядка ~ 5000).
Мне было интересно, кто-нибудь может дать некоторое представление об использовании subprocess между узлами эффективным и действенным образом?