Как найти оптимальный n_worker, threads_per_worker в dask и n_jobs из dask-lightgbm? Есть ли какая-то связь между ними?

Question

Я использую распределенный Dask / Dask LightGBM для улучшения времени выполнения.

Я попытался установить множество комбинаций n_jobs из Dask-LightGBM и n_worker и threads_per_worker из Dask для файла объемом 10 ГБ.

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                40
On-line CPU(s) list:   0-39
Thread(s) per core:    2
Core(s) per socket:    10
Socket(s):             2

RAM: 252GB

Answer 1

Найти оптимальную производительность сложно, и нет алгоритма, который бы дал вам оптимальные значения для них. Они зависят от вашего оборудования, вашего алгоритма, ваших данных и других сложных факторов.