Использование RandomizedSearchCV от sklearn с передискретизацией SMOTE только на тренировочных сгибах

Question

У меня очень несбалансированный набор данных (99,5: 0,5). Я хотел бы выполнить настройку гиперпараметра для модели Random Forest, используя sklearn s RandomizedSearchCV. Я бы хотел, чтобы каждая из тренировочных сгибов была подвергнута передискретизации с использованием SMOTE, а затем каждый из тестов оценивался на финальной сгибе, сохраняя исходное распределение без какой-либо передискретизации. Поскольку эти тестовые сгибы сильно разбалансированы, я бы хотел, чтобы тесты оценивались с использованием балла F1.

Я попробовал следующее:

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import RandomizedSearchCV, StratifiedKFold
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import make_pipeline
import pandas as pd

dataset = pd.read_csv("data/dataset.csv")

data_x = dataset.drop(["label"], axis=1)
data_y = dataset["label"]

smote = SMOTE()
model = RandomForestClassifier()

pipeline = make_pipeline(smote, model)

grid = {
    "randomforestclassifier__n_estimators": [10, 25, 50, 100, 250, 500, 750, 1000, 1250, 1500, 1750, 2000],
    "randomforestclassifier__criterion": ["gini", "entropy"],
    "randomforestclassifier__max_depth": [10, 20, 30, 40, 50, 75, 100, 150, 200, None],
    "randomforestclassifier__min_samples_split": [1, 2, 3, 4, 5, 8, 10, 15, 20],
    "randomforestclassifier__min_samples_leaf": [1, 2, 3, 4, 5, 8, 10, 15, 20],
    "randomforestclassifier__max_features": ["auto", None, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
    "randomforestclassifier__bootstrap": [True, False],
    "randomforestclassifier__max_samples": [None, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9],
}

kf = StratifiedKFold(n_splits=5)

search = RandomizedSearchCV(pipeline, grid, scoring='f1', n_iter=10, n_jobs=-1, cv=kf)

search = search.fit(data_x, data_y)

print(search.best_params_)

Однако я не уверен, что SMOTE применяется к тестовому набору на каждой итерации.

Как я могу убедиться, что SMOTE применяется только к тренировочным сгибам, но не к тестовым сгибам?

РЕДАКТИРОВАТЬ:

Эта статья , кажется, отвечает на мой вопрос (в частности, в разделе 3B), предоставляя образец кода именно то, что я пытаюсь делать, и демонстрируя, как это работает, как я указал, я хотел бы

Answer 1

Как показано в статье, на которую ссылаются мои правки, когда imblearn Pipeline передается sklearn RandomizedSearchCV, преобразования отображаются только для данных на тренировочных сгибах, а не для проверка сворачивается. (Однако я не понимаю, как это работает, потому что, если, например, в конвейер был передан инструмент масштабирования, вы бы хотели, чтобы это применялось ко ВСЕМ данным, а не только к тренировочным сгибам).

I протестировал это с помощью следующего кода, который на самом деле не выполняет никакой настройки гиперпараметра, но имитирует, как если бы параметры были настроены, и оценка F1 для проверки практически идентична моей окончательной оценке F1 для тестирования.

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import RandomizedSearchCV, StratifiedKFold
from sklearn.metrics import confusion_matrix, classification_report
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import Pipeline
import pandas as pd

# TRAIN / TEST SPLIT

dataset = pd.read_csv("data/dataset.csv")

data_x = dataset.drop(["label"], axis=1)
data_y = dataset["label"]

train_x, test_x, train_y, test_y = train_test_split(
    data_x, data_y, test_size=0.3, shuffle=True
)

# HYPERPARAMETER TUNING

pipeline = Pipeline([("smote", SMOTE()), ("rf", RandomForestClassifier())])

grid = {
    "rf__n_estimators": [100],
}

kf = StratifiedKFold(n_splits=5)

# Just applies smote to the k-1 training folds, and not to the validation fold
search = RandomizedSearchCV(
    pipeline, grid, scoring="f1", n_iter=1, n_jobs=-1, cv=kf
).fit(train_x, train_y)

best_score = search.best_score_
best_params = {
    key.replace("rf__", ""): value for key, value in search.best_params_.items()
}

print(f"Best Tuning F1 Score: {best_score}")
print(f"Best Tuning Params:   {best_params}")

# EVALUTING BEST MODEL ON TEST SET

best_model = RandomForestClassifier(**best_params).fit(train_x, train_y)

accuracy = best_model.score(test_x, test_y)

test_pred = best_model.predict(test_x)
tn, fp, fn, tp = confusion_matrix(test_y, test_pred).ravel()
conf_mat = pd.DataFrame(
    {"Model (0)": [tn, fn], "Model (1)": [fp, tp]}, index=["Actual (0)", "Actual (1)"],
)

classif_report = classification_report(test_y, test_pred)

feature_importance = pd.DataFrame(
    {"feature": list(train_x.columns), "importance": best_model.feature_importances_}
).sort_values("importance", ascending=False)

print(f"Accuracy: {round(accuracy * 100, 2)}%")
print("")

print(conf_mat)
print("")

print(classif_report)
print("")

pd.set_option("display.max_rows", len(feature_importance))
print(feature_importance)
pd.reset_option("display.max_rows")