Я могу написать программу python (run.py) для запуска другого сценария python ( script.py ) над всеми файлами в каталоге (input_dir) и собрать результат в файл (out_file).
В настоящее время я делаю это последовательно (приведенный ниже код go для каждого файла и запускаю сценарий и ожидает завершения процесса sh), запустив его. Мой код:
with open(out_file, "w") as out:
for x in os.walk(input_dir):
for file in glob.glob(os.path.join(x[0], "*.txt")):
command = ["./script.py", "file"]
subprocess.call(command, stdout=out)
Как мне изменить код для обработки многократных запусков script.py в параллельно . Есть ли способ контролировать, сколько я могу работать параллельно и указать, когда добавить еще (например, если 50% из них не заканчивается).