Я происходил в основном из программиста на R. Я работаю над текущим проектом, разрабатываемым в python, и в настоящее время мы находимся на этапе, когда мы хотим распараллелить нашу работу. До сих пор мне не удавалось найти способ генерировать набор работников и посылать им постоянную информацию, а затем использовать их многократно, как это было бы в R. В R я определяю своих работников, отправляю им все константы (и неизменяемые). ) входные данные и функции, в которых они нуждаются, а затем начать отправку их для параллельной работы с отдельными входами.
В настоящее время мы разработали процедуру, в которой мы пытаемся запустить несколько полуидентичных процедур (различные начальные числа) в Параллельно затем получить их выходные данные и внести изменения в непостоянные входные аргументы, и повторять это снова и снова. Следовательно, я ищу способ генерирования рабочих, для которых постоянные функции / классы / объекты и данные не нужно выбирать и отправлять каждый раз (только динамические входы должны выбираться и отправляться каждый раз).
Код Sudo будет выглядеть примерно так:
Generate N workers
Send each worker static data
for i in number_of_iterations:
Send dynamic data to each worker
Start each worker
Get results from each worker
Update dynamic data
Get final results
Редактировать:
Пояснение: мы заметили, что, похоже, мы получаем издержки от постоянных классов / данных на каждой итерации, которую мы стараемся избегать (если это не было ясно).