Простой пример группового планирования процессов в Python?

Question

У меня есть пул процессов, которые нужно выполнить. Я хотел бы полностью использовать машину, чтобы все процессоры выполняли процессы. Я не хочу переподписывать систему, так что я действительно хочу # executing_processes = # cpus в любой момент. Мне также нужно хранить stdout, stderr и код возврата каждого завершенного процесса. Как этого достичь в Python?

РЕДАКТИРОВАТЬ: под «процессом» я подразумеваю процесс оболочки.

Answer 1

Если вы говорите о ваших собственных, реализованных на Python процессах:

Модуль multiprocessing позволяет создавать несколько процессов. В частности, звучит так, как если бы вы хотели создать multiprocessing.cpu_count число процессов, потенциально в Pool.

Если вы говорите об отдельных программах, которые вы хотите выполнить через оболочку :

Модуль subprocess позволит вам порождать процессы через класс Popen, который имеет параметры для stdin, stdout, sterr, которые принимают файловые объекты. Popen.returncode может использоваться для проверки кода возврата.