Фреймворк рабочего процесса в Python

Question

Я пытаюсь создать рабочий процесс в Python, который будет иметь следующие функции:

1. Динамическое планирование.
2. Параллелизм - много потоков в одном процессе.
3. Запуск потока, аналогичного запуску задачи.
4. Работает в Windows.

Из того, что я понял, кажется, что 1 & 3достижимо во многих средах рабочих процессов, но 2 не так просто.В моем исследовании я в основном смотрел на Celery & Luigi фреймворки.

• Для Celery я обнаружил, что 2 можно сделать с помощью аргумента --pool, поэтому я хотел бычтобы узнать, смогу ли я объединить рабочий и триггер для одного и того же модуля python?
• Для Luigi Я хотел бы знать, можно ли запускать задачи как многопоточные, а не как многопроцессные?

Кроме того, я был бы признателен за любые предложения по другим Python фреймворкам, которые могут помочь мне, прежде чем я начну создавать свой собственный рабочий процесс?

Answer 1

В luigi для самих задач возможно использование многопоточности, но в luigi каждый рабочий сам будет процессом, поскольку он может работать на другой машине.Вы можете работать только с одним работником, если у вас есть что-то против двух процессов.

Еще один вопрос, который нужно рассмотреть - это поток воздуха.