Я использую Dask-ML для запуска некоторого кода, который использует довольно много оперативной памяти во время обучения. Сам по себе обучающий набор данных невелик, но он во время обучения использует довольно много оперативной памяти. Я продолжаю получать следующее сообщение об ошибке, хотя я пытался использовать другие значения для n_jobs:
distributed.nanny - WARNING - Worker exceeded 95% memory budget. Restarting
Что я могу сделать?
Ps: Я также пробовал использовать ядро Kaggle (что позволяет использовать до 16 ГБ ОЗУ), и это не сработало. Итак, я сейчас пробую Dask-ML. Я также только что подключился к кластеру Dask, используя значения параметров по умолчанию, с кодом ниже:
from dask.distributed import Client
import joblib
client = Client()
with joblib.parallel_backend('dask'):
# My own codes