Сельдерей: как настроить инициализацию многопроцессорного пула? - PullRequest
0 голосов
/ 23 февраля 2019

Я хочу, чтобы процессы в пуле процессов запускались с некоторого массива, выделенного для GPU (выделение массива по запросу слишком затратно по времени).

  1. Есть ли способ настроить инициализацию пула, если каждый процесс в пуле имеет выделенный для GPU массив и освобождает память только после его смерти?

  2. если вышеупомянутое возможно, то как задача могла бы получить доступ к тензору графического процессора исполняющего потока, выделенному при инициализации?

Я вижу, что - из github сельдерея - pefork.py определяет функцию process_initializer, которая используется в качестве инициализатора для пула процессов.Я планирую отредактировать исходный код, но я не уверен, как подойти к этому.

спасибо

...