Joblib, Parallel и batch_size - PullRequest
Новая
       14

Joblib, Parallel и batch_size

0 голосов
/ 20 марта 2019

Допустим, у меня есть генератор / список размером 50000. И я хочу использовать его как: 

batches = range(0, 50001)

Parallel(n_jobs=multiprocessing.cpu_count(), verbose=100,
                 backend="threading", batch_size=?, pre_dispatch=?)(delayed(<function>)(it) for it in batches)

Подскажите, пожалуйста, какое будет правильное значение в batch_size и pre_dispatch, если я хочу обрабатывать 20 000 элементов за один раз / или я хочу, чтобы поток / процессор обрабатывал 20 000 элементов как одну задачу?

...