GridsearchCV для набора данных 100000, имеющего 200 функций, дает сбой при использовании dask joblib - PullRequest
0 голосов
/ 30 апреля 2019

Я работаю над машинным обучением, Gridsearchcv, над кластером из двух систем, использующих DASK-ML. когда я работаю на 100000 примеров с 200 функциями, он либо зависает, либо выходит из строя со следующим сообщением:

tornado.application - ERROR - Exception in callback

Это связано с размером набора данных или с какой-либо проблемой безопасности?

'search' is a GridsearchCV model using SGDClassifier()
'X_train' is 100000 by 200
'y_train' is 100000 by 1
....
with joblib.parallel_backend('dask'):
    search.fit(X_train,y_train)
....
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...