Недодискретизация numpy массив - PullRequest
0 голосов
/ 13 июля 2020

У меня есть поезд с 10192 отсчетами «0» и 2512 отсчетами «1».
Я применил PCA к набору, чтобы уменьшить размерность.
Я хочу занизить выборку этого массива numpy.
Вот мой код:

df = read_csv("train.csv")
X = df.drop(['label'], axis = 1)
y = df['label']
from sklearn.model_selection import train_test_split

X_train, X_validation, y_train, y_validation = train_test_split(X, y, test_size = 0.2, random_state = 42)
model = PCA(n_components = 19)
model.fit(X_train)
X_train_pca = model.transform(X_train)
X_validation_pca = model.transform(X_validation)

X_train = np.array(X_train_pca)
X_validation = np.array(X_validation_pca)
y_train = np.array(y_train)
y_validation = np.array(y_validation)

Как я могу уменьшить выборку класса «0» из массива X_train numpy?

1 Ответ

1 голос
/ 13 июля 2020

Попробуйте после импорта csv в df:

# class count
count_class_0, count_class_1 = df.label.value_counts()

# separate according to `label`
df_class_0 = df[df['label'] == 0]
df_class_1 = df[df['label'] == 1]

# sample only from class 0 quantity of rows of class 1
df_class_0_under = df_class_0.sample(count_class_1)
df_test_under = pd.concat([df_class_0_under, df_class_1], axis=0)

Затем выполните все вычисления для df_test_under фрейма данных.

В качестве альтернативы используйте RandomUnderSampler:

from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler(random_state=0)
X_resampled, y_resampled = rus.fit_resample(X, y)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...