Я работаю над машинным обучением, Gridsearchcv, над кластером из двух систем, использующих DASK-ML. когда я работаю на 100000 примеров с 200 функциями, он либо зависает, либо выходит из строя со следующим сообщением:
tornado.application - ERROR - Exception in callback
Это связано с размером набора данных или с какой-либо проблемой безопасности?
'search' is a GridsearchCV model using SGDClassifier()
'X_train' is 100000 by 200
'y_train' is 100000 by 1
....
with joblib.parallel_backend('dask'):
search.fit(X_train,y_train)
....