Я использую multiprocessing.dummy.Pool в одной из своих программ. В документации по адресу https://docs.python.org/3/library/multiprocessing.html#multiprocessing .pool.Pool.map говорится следующее:
Этот метод разбивает итерацию на несколько частей, которые он отправляет в пул процессов как отдельные задачи. (Приблизительный) размер этих фрагментов можно указать, задав для параметра chunksize положительное целое число.
- Как он разбивает итерацию на несколько частей? Каковы размеры блоков по умолчанию?
Обратите внимание, что это может привести к высокому использованию памяти для очень длинных итераций.
Как это приводит к высокому использованию памяти для длинных итераций? Как мне решить, какой размер фрагмента лучше всего сохранить, чтобы этого избежать?