Я хочу отправить список заданий через pool.imap_unordered () и накапливать результаты, но система зависает и процессоры переходят в спящий режим. Структура кода выглядит следующим образом:
for chr in chrs
poolInputList=[fillInputList(chr,sim, many other parameters) for sim in sims]
chunksize=max(len(poolInputList)//numberofProcessors,1)
for result in pool.imap_unordered(func,poolInputList,chunksize)
accumulate result
Я думал, что проверка ввода 'poolInputList' в понимании списка не сделает весь ввод готовым в памяти все вместе, но кажется, что это не так,Как отправлять задания с их входом (не все входные) на разные процессоры и накапливать результаты, когда они будут готовы?
Кстати, poolInputList становится очень большим, и я получил MemoryError.