передача дополнительных параметров в целевую функцию hyperopt - PullRequest
Новая
       8

передача дополнительных параметров в целевую функцию hyperopt

0 голосов
/ 01 февраля 2019

Я использую библиотеку Python hyperopt для оптимизации гиперпараметров ML.В частности, я пытаюсь найти оптимальный гиперпараметр lightgbm, используя эту функцию для минимизации: 

def lgb_objective_map(params):
"""
objective function for lightgbm using MAP as success metric.
"""

# hyperopt casts as float
params['num_boost_round'] = int(params['num_boost_round'])
params['num_leaves'] = int(params['num_leaves'])
params['min_data_in_leaf'] = int(params['min_data_in_leaf'])

# need to be passed as parameter
params['verbose'] = -1
params['seed'] = 1

# Cross validation
cv_result = lgb.cv(
params,
lgtrain,
nfold=3,
metrics='binary_logloss',
num_boost_round=params['num_boost_round'],
early_stopping_rounds=20,
stratified=False,
)

# Update the number of trees based on the early stopping results
early_stop_dict[lgb_objective_map.i] = len(cv_result['binary_logloss-mean'])
params['num_boost_round'] = len(cv_result['binary_logloss-mean'])

# fit and predict
#model = lgb.LGBMRegressor(**params)
#model.fit(train,y_train,feature_name=all_cols,categorical_feature=cat_cols)
model= lgb.train(params=params,train_set=lgtrain)
preds = model.predict(X_test)

# add a column with predictions and rank


result = log_loss(y_test,preds)
#    actual_predicted 
actual_predicted = np.sum(y_test)/np.sum(preds)

print("INFO: iteration {} logloss {:.3f} actual on predicted ratio {:.3f}".format(lgb_objective_map.i, 
      result,actual_predicted))

lgb_objective_map.i+=1

return result

Вызов hyperopt: 

best = fmin(fn=lgb_objective_map,
        space=lgb_parameter_space,
        algo=tpe.suggest,
        max_evals=200,
        trials=trials)

Возможно изменить вызов best вЧтобы передать дополнительный параметр lgb_objective_map, например, lgbtrain, X_test, y_test?Это позволило бы обобщить вызов hyperopt.

1 Ответ

0 голосов
/ 21 июня 2019

Функция partial из functools обеспечивает красноречивое решение.

Просто оберните вашу функцию и добавьте нужные аргументы: 

partial(yourFunction,arg_1,arg_2,...,arg_n)

Затем передайте это в fmin hpфункция.

Вот игрушечный пример: 

from functools import partial
from hyperopt import hp,fmin, STATUS_OK

def objective(params, data):
    output = f(**params, data)
    return {'loss': output ,  'status': STATUS_OK}

fmin_objective = partial(objective, data=data)

bestParams = fmin(fn = fmin_objective ,space = params)
...