Проблемы при преобразовании numpy в массив dask для вычислений - PullRequest
Новая
       58

Проблемы при преобразовании numpy в массив dask для вычислений

0 голосов
/ 19 марта 2020

Я новичок в Dask и уже пару дней изучаю и применяю.

Я пытаюсь преобразовать приведенный ниже код, чтобы измерить, есть ли какие-либо улучшения производительности с помощью Dask. Кто-нибудь может помочь?

Существующий код 

def eval_results(yhat_mean, y):
    mad = np.nanmean(np.abs(y - yhat_mean))
    print('MAD: {}'.format(mad))
    mse = np.nanmean(np.square(y - yhat_mean))
    print('MSE: {}'.format(mse))
    mape = np.nansum(np.abs(y - yhat_mean)) / np.nansum(y)
    print('MAPE: {}'.format(mape))
    print(eval_results(np.array(est.predict(X_train)),np.array(y_train)))

до 

def eval_results(yhat_mean, y):
    mad = da.nanmean(da.diff(y - yhat_mean)).compute()
    print('MAD: {}'.format(mad))
    print(eval_results(da.asarray(est.predict(X_train)), da.asarray(y_train)))

PS: я использовал Dask lightGBMRegressor для прогноза.

...