Параллельное обучение с использованием Dask

Question

Scikit-Learn уже предоставляет параллельные вычисления на одной машине с Joblib.
Но я хочу использовать Dask, как мне этого добиться?

from dask.distributed import Client
client = Client()  

как мне исходить из этого?

Answer 1

Существует фрагмент из документации dask, вы можете использовать как синтаксис dask, так и код sk "Scikit-learn"

import dask_ml.joblib
from sklearn.externals.joblib import parallel_backend
with parallel_backend('dask'):
# Your normal scikit-learn code here

Дополнительная документация здесь: http://dask -ml.readthedocs.io/