Как обернуть ProcessPoolExecutor, чтобы он позволял не-демонические процессы - PullRequest
Новая
       31

Как обернуть ProcessPoolExecutor, чтобы он позволял не-демонические процессы

0 голосов
/ 08 мая 2019

В моем случае мне нужно запустить ProcessPoolExecutor внутри ProcessPoolExecutor, поэтому было бы очень удобно разрешить ProcessPoolExecutor иметь недемонические процессы.

Мне интересно, как изменить это поведение с минимальными изменениями, оборачивая ProcessPoolExecutor?

----------- Update -------------------

Мой пример использования - машинное обучение, где мы распараллеливаем эксперименты с различными настройками гиперпараметра с внешним ProcessPoolExecutor, а сам алгоритм также распараллеливается с внутренним ProcessPoolExecutor.

игрушечный пседокод выглядит как 

def algo(config):
    candidates = make_candidates(...)
    with ProcessPoolExecutor() as executor:
        executor.map(evaluation, candidates)

configs = make_configs(...)
with ProcessPoolExecutor() as executor:
    executor.map(algo, configs)
...