Ограничить количество ядер Dask не работает? - PullRequest
1 голос
/ 05 апреля 2019

, хотя я установил число ядер равным 24, все 120 ядер используются со 100%.

I set up dask this way

all cores are in use

1 Ответ

1 голос
/ 09 апреля 2019

Что вы на самом деле говорите Dask, так это запускать максимум 24 функции Python одновременно.Тем не менее, эти функции Python могут делать все что угодно, в том числе с использованием множества потоков.

Это особенно распространено, если вы используете NumPy с любой современной реализацией BLAS.Распространенным решением для этого является установка переменных среды, таких как

OMP_NUM_THREADS=1  # if you're using OpenBLAS or another OpenMP library
MKL_NUM_THREADS=1  # if you're using MKL

Но я не знаю, что на самом деле делает ваш код, поэтому может случиться так, что есть какой-то другой способ управления потоками из ваших функций, которыйотличается от того, что указано выше.

Также два подхода, которые вы выбрали, применимы к различным планировщикам.Первый относится к локальному планировщику.Второй к распределенному планировщику.Это нормально, но по умолчанию распределенный планировщик вступит во владение, и первые несколько строк вашего примера не будут иметь никакого эффекта.

...