Сплит в поезде и тестовое разделение по группам - PullRequest
Новая
       6

Сплит в поезде и тестовое разделение по группам

1 голос
/ 21 апреля 2020

У меня есть пример данных следующим образом: 

import pandas as pd

df = pd.DataFrame({"x": [10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120],
                   "id": [1, 1, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5],
                   "label": ["a", "a", "a", "b", "a", "b", "b", "b", "a", "b", "a", "b"]})

Итак, мои данные выглядят так: 

  x   id   label
 10   1    a
 20   1    a
 30   1    a
 40   1    b
 50   2    a
 60   2    b
 70   3    a
 80   3    a
 90   4    b
100   4    a
110   5    b
120   5    a

Я хотел бы разделить эти данные на две группы (поезд, тест) на основе распределения этикеток с учетом количества тестируемых образцов (например, 6 образцов). Мои настройки предпочитают определять размер набора тестов как целое число, представляющее количество тестовых образцов, а не процент. Однако с моим указанным c доменом любой идентификатор ДОЛЖЕН быть распределен ТОЛЬКО в одной группе. Например, если идентификатор 1 был назначен обучающему набору, другие образцы с идентификатором 1 не могут быть назначены тестовому набору. Таким образом, ожидаемые выходные данные представляют собой 2 кадра данных следующим образом:

Учебный набор 

  x   id   label
 10   1    a
 20   1    a
 30   1    a
 40   1    b
 50   2    a
 60   2    b

Тестовый набор 

  x   id   label
 70   3    a
 80   3    a
 90   4    b
100   4    a
110   5    b
120   5    a

И обучающий набор, и тестовый набор имеют одинаковое распределение классов ( a: b равно 4: 2) и идентификаторы 1, 2 были назначены только обучающему набору, а идентификаторы 3, 4, 5 были назначены только тестовому набору. Я имел обыкновение делать с sklearn train_test_split, но я не мог понять, как применять его с таким условием. Могу ли я получить ваши предложения, как справиться с такими условиями?

Ответы [ 2 ]

3 голосов
/ 21 апреля 2020

sklearn.model_selection имеет несколько других параметров, кроме train_test_split. Один из них направлен на решение того, что вы ищете. В этом случае вы можете использовать GroupShuffleSplit, который, как упомянуто в документации, предоставляет рандомизированные индексы поезда / теста для разделения данных в соответствии с предоставленной сторонней группой. У вас также есть GroupKFold для этих случаев, что очень полезно. 

from sklearn.model_selection import GroupShuffleSplit

X = df.drop('label',1)
y=df.label

Теперь вы можете создавать экземпляр GroupShuffleSplit и делать то же самое, что и с train_test_split, только с разница в указании столбца group, который будет использоваться для разделения X и y, чтобы группы были разделены в соответствии со значениями групп: 

gs = GroupShuffleSplit(n_splits=2, test_size=.6, random_state=0)
train_ix, test_ix = next(gs.split(X, y, groups=X.id))

Теперь вы можете индексировать кадр данных для создания поезд и тестовые наборы: 

X_train = X.loc[train_ix]
y_train = y.loc[train_ix]

X_test = X.loc[test_ix]
y_test = y.loc[test_ix]

Подача: 

print(X_train)

      x  id
4    50   2
5    60   2
8    90   4
9   100   4
10  110   5
11  120   5

А для тестового набора: 

print(X_test)

   x  id
0  10   1
1  20   1
2  30   1
3  40   1
6  70   3
7  80   3
0 голосов
/ 21 апреля 2020

Добавив к блестящему ответу Яту, вы можете разделить свои данные только с помощью pandas, если хотите, хотя лучше использовать то, что было предложено в его ответе. 

import pandas as pd

df = pd.DataFrame(
    {
        "x": [10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120],
        "id": [1, 1, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5],
        "label": ["a", "a", "a", "b", "a", "b", "b", "b", "a", "b", "a", "b"],
    }
)


TRAIN_TEST_SPLIT_PERC = 0.75
uniques = df["id"].unique()
sep = int(len(uniques) * TRAIN_TEST_SPLIT_PERC)
df = df.sample(frac=1).reset_index(drop=True) #For shuffling your data
train_ids, test_ids = uniques[:sep], uniques[sep:]
train_df, test_df = df[df.id.isin(train_ids)], df[df.id.isin(test_ids)]


print("\nTRAIN DATAFRAME\n", train_df)
print("\nTEST DATAFRAME\n", test_df)
...