Почему передискретизация в конвейере взрывает количество модельных коэффициентов? - PullRequest
Новая
       32

Почему передискретизация в конвейере взрывает количество модельных коэффициентов?

0 голосов
/ 04 февраля 2019

У меня есть модельный конвейер, подобный этому: 

from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer, make_column_transformer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# define preprocessor
preprocess = make_column_transformer(
    (StandardScaler(), ['attr1', 'attr2', 'attr3', 'attr4', 'attr5', 
                        'attr6', 'attr7', 'attr8', 'attr9']),
    (OneHotEncoder(categories='auto'), ['attrcat1', 'attrcat2'])
)

# define train and test datasets
X_train, X_test, y_train, y_test = 
    train_test_split(features, target, test_size=0.3, random_state=0)

Когда я выполняю конвейер без передискретизации, я получаю: 

# don't do over-sampling in this case
os_X_train = X_train
os_y_train = y_train

print('Training data is type %s and shape %s' % (type(os_X_train), os_X_train.shape))
logreg = LogisticRegression(penalty='l2',solver='lbfgs',max_iter=1000)
model = make_pipeline(preprocess, logreg)
model.fit(os_X_train, np.ravel(os_y_train))
print("The coefficients shape is: %s" % logreg.coef_.shape)
print("Model coefficients: ", logreg.intercept_, logreg.coef_)
print("Logistic Regression score: %f" % model.score(X_test, y_test))

Вывод: 

Training data is type <class 'pandas.core.frame.DataFrame'> and shape (87145, 11)
The coefficients shape is: (1, 47)
Model coefficients:  [-7.51822124] [[ 0.10011794  0.10313989 ... -0.14138371  0.01612046  0.12064405]]
Logistic Regression score: 0.999116

То есть я получаю 47 модельных коэффициентов для обучающего набора из 87145 выборок, что имеет смысл с учетом заданной предварительной обработки.OneHotEncoder работает на attrcat1 и attrcat2, и у них есть в общей сложности 31 + 7 категорий, что добавляет 38 столбцов плюс 9 уже имеющихся у меня столбцов, что дает в общей сложности 47 функций.

Теперь, если ясделать то же самое, но на этот раз передискретизацию с использованием SMOTE, например, так: 

from imblearn.over_sampling import SMOTE
# balance the classes by oversampling the training data
os = SMOTE(random_state=0)
os_X_train,os_y_train=os.fit_sample(X_train, y_train.ravel())
os_X_train = pd.DataFrame(data=os_X_train, columns=X_train.columns)
os_y_train = pd.DataFrame(data=os_y_train, columns=['response'])

Вывод: 

Training data is type <class 'pandas.core.frame.DataFrame'> and shape (174146, 11)
The coefficients shape is: (1, 153024)
Model coefficients:  [12.02830778] [[ 0.42926969  0.14192505 -1.89354062 ...  0.008847    0.00884372 -8.15123962]]
Logistic Regression score: 0.997938

В этом случае я получаю примерно вдвое больший размер обучающей выборки, чтобы сбалансироватьклассы ответа, что я и хотел, но моя модель логистической регрессии взрывается до 153024 коэффициентов.Это не имеет никакого смысла ... есть идеи, почему?

1 Ответ

0 голосов
/ 04 февраля 2019

ОК, я нашел виновника этой проблемы.Проблема в том, что SMOTE преобразует все столбцы объектов в плавающее (включая эти две категориальные функции).Поэтому при применении преобразователя столбцов OneHotEncoder к типам столбцов число с плавающей запятой разбивает число столбцов на количество выборок, т. Е. Каждый случай появления одного и того же значения с плавающей запятой рассматривается как отдельная категория.

Решение было простовведите преобразовать эти категориальные столбцы обратно в int перед запуском конвейера: 

# balance the classes by over-sampling the training data
os = SMOTE(random_state=0)
os_X_train, os_y_train = os.fit_sample(X_train, y_train.ravel())
os_X_train = pd.DataFrame(data=os_X_train, columns=X_train.columns)
# critically important to have the categorical variables from float back to int
os_X_train['attrcat1'] = os_X_train['attrcat1'].astype(int)
os_X_train['attrcat2'] = os_X_train['attrcat2'].astype(int)
...