Как сохранить каждый прогнозируемый результат в каждой итерации GridSearchCV с LightGBM

Question

Я пытаюсь использовать GridSearchCV для настройки параметров в модели LightGBM, но я недостаточно знаком с тем, как сохранять каждый прогнозируемый результат в каждой итерации GridSearchCV.
Но, к сожалению, я знаю, как сохранить результат в определенном параметре.
Вот код:

param = {
    'bagging_freq': 5,
    'bagging_fraction': 0.4,
    'boost_from_average':'false',
    'boost': 'gbdt',
    'feature_fraction': 0.05,
    'learning_rate': 0.01,
    'max_depth': -1,  
    'metric':'auc',
    'min_data_in_leaf': 80,
    'min_sum_hessian_in_leaf': 10.0,
    'num_leaves': 13,
    'num_threads': 8,
    'tree_learner': 'serial',
    'objective': 'binary', 
    'verbosity': 1
}
features = [c for c in train_df.columns if c not in ['ID_code', 'target']]
target = train_df['target']
folds = StratifiedKFold(n_splits=10, shuffle=False, random_state=44000)
oof = np.zeros(len(train_df))
predictions = np.zeros(len(test_df))

for fold_, (trn_idx, val_idx) in enumerate(folds.split(train_df.values, target.values)):
    print("Fold {}".format(fold_))
    trn_data = lgb.Dataset(train_df.iloc[trn_idx][features], label=target.iloc[trn_idx])
    val_data = lgb.Dataset(train_df.iloc[val_idx][features], label=target.iloc[val_idx])    
    num_round = 1000000
    clf = lgb.train(param, trn_data, num_round, valid_sets = [trn_data, val_data], verbose_eval=1000, early_stopping_rounds = 3000)
    oof[val_idx] = clf.predict(train_df.iloc[val_idx][features], num_iteration=clf.best_iteration)        
    predictions += clf.predict(test_df[features], num_iteration=clf.best_iteration) / folds.n_splits

print("CV score: {:<8.5f}".format(roc_auc_score(target, oof)))
print('Saving the Result File')
res= pd.DataFrame({"ID_code": test.ID_code.values})
res["target"] = predictions
res.to_csv('result_10fold{}.csv'.format(num_sub), index=False)

Вот данные:

train_df.head(3)

         ID_code    target    var_0    var_1    ...  var_199
0        train_0     0        8.9255   -6.7863       -9.2834     
1        train_1     1        11.5006  -4.1473        7.0433  
2        train_2     0        8.6093   -2.7457       -9.0837 


train_df.head(3)

         ID_code    var_0   var_1    ... var_199
0        test_0     9.4292  11.4327      -2.3805          
1        test_1     5.0930  11.4607      -9.2834      
2        train_2    7.8928  10.5825      -9.0837      

Я хочу сохранить каждую predictions каждой итерации GridSearchCV, и я искал несколько похожих вопросов и другую важную информацию об использовании GridSearchCV в LightGBM .
НО я до сих пор не могу правильно его кодировать.
Так что, если не возражаете, кто-нибудь может мне помочь и дать несколько уроков по этому поводу?
Искренне спасибо.

Answer 1

Вы можете использовать ParameterGrid или ParameterSampler из sklearn для выборки параметров - она ​​будет соответствовать GridSearchCV и RandomSearchCV соответственно. Например,

def train_lgb(num_folds=11, param=param_original):
    ...
    return predictions, sub

params = {
# your base parameters
}

# define the grid for parameter sampling
from sklearn.model_selection import ParameterGrid
par_grid = ParameterGrid([{'bagging_freq':[6,7]},
                          {'num_leaves': [13,15]}
                         ])

prediction_list = {}
sub_list = {}

import copy
for i, ps in enumerate(par_grid):
    print('This is param{}'.format(i))
    # copy the base params dictionary and update with sampled values
    val = copy.deepcopy(params)
    val.update(ps)
    # main training loop
    prediction, sub = train_lgb(param=val) 
    prediction_list.update({key: prediction})
    sub_list.update({key: sub})

Редактировать: Кстати, я понял, что недавно изучал ту же проблему и изучал, как решить эту проблему, используя некоторые инструменты ML. Я создал страницу с описанием способа использования MLflow для этой задачи: https://mlisovyi.github.io/KaggleSantander2019/ (и соответствующей страницы github для фактического кода). Обратите внимание, что это случайно основано на тех же данных, над которыми вы работаете :). Я надеюсь, что это будет полезно.