Я часто оказываюсь в следующей ситуации:
- Я выполняю несколько шагов и создаю некоторый набор данных
- Мне нужно выполнить несколько разных независимых операций с этими данными. Каждая из операций выполняется долго, и я использую multiprocessing.pool (со значением 80 0r 100). Ни одна из операций не изменяет исходный набор данных, а просто дает результат.
Предположим, у меня есть 10 независимых операций, которые мне нужно выполнить. Я запускаю первую операцию (скажем А). Теперь я хочу сразу начать вторую операцию (скажем Б). Пока он работает, я хотел бы проанализировать результаты A (первой операции). Анализ A не изменит никаких данных, необходимых для B. Он будет включать простые вещи, такие как построение графиков, вычисление средних значений и т. Д. c.
Возможно ли это? Подводя итог, я хочу выполнить несколько простых интерактивных операций, используя существующие результаты, в то время как некоторые задания многопроцессорного пула выполняются в фоновом режиме.