Scikit-Learn GroupShuffleSplit не группируется по указанным группам - PullRequest
Новая
       34

Scikit-Learn GroupShuffleSplit не группируется по указанным группам

0 голосов
/ 21 октября 2019

Я пытаюсь разделить временные ряды данных фермы, взятых с ежедневной периодичностью в течение 8 лет. Я хочу разделить данные таким образом, чтобы наборы поездов и тестов содержали образцы из разных ферм, и чтобы между наборами поездов и тестов не было перекрытия ферм. Я создал столбец в кадре данных, содержащий уникальный идентификатор фермы, указывающий, с какой фермы был получен образец.

Визуально, как выглядит набор данных в целом: 

df

╔════════╦════════════╦═══════════╦═════╦═══════════╗
║ FarmID ║  datetime  ║ Feature_1 ║ ... ║ Feature_n ║
╠════════╬════════════╬═══════════╬═════╬═══════════╣
║ 0      ║ 2009-01-01 ║ 45.76     ║ ... ║ 15.12     ║
║ ...    ║ ...        ║ ...       ║ ... ║ ...       ║
║ 3668   ║ 2017-12-31 ║ 12.12     ║ ... ║ 15.75     ║
╚════════╩════════════╩═══════════╩═════╩═══════════╝
6702142 rows × 35 columns


df[df.FarmID==0]

╔════════╦════════════╦═══════════╦═════╦═══════════╗
║ FarmID ║  datetime  ║ Feature_1 ║ ... ║ Feature_n ║
╠════════╬════════════╬═══════════╬═════╬═══════════╣
║ 0      ║ 2009-01-01 ║ 35.31     ║ ... ║ 67.41     ║
║ ...    ║ ...        ║ ...       ║ ... ║ ...       ║
║ 0      ║ 2017-12-31 ║ 2.15      ║ ... ║ 5.21      ║
╚════════╩════════════╩═══════════╩═════╩═══════════╝
1096 rows x 35 columns


# Note: Not all farms contain the same number of samples as some farms didn't submit data in some years.

Чтобы разделить набор данных, это код, который я использовал: 

df = df.sort_values('FarmID')

def group_split(df, test_size=.80, seed=seed):
    from sklearn.model_selection import GroupShuffleSplit
    gss = GroupShuffleSplit(1, test_size, random_state=seed)

    for test_indices, train_indices in gss.split(df, groups=df.FarmID):
        train = df.loc[train_indices]
        test = df.loc[test_indices]

    return train, test

train, test = group_split(df)

После проверкиуникальные фермы, содержащиеся в разделениях поезда-теста, я вижу, что есть несколько ферм, содержащихся как в поезде, так и в тестовом наборе. 

In: train.FarmID.unique()

Out: array([2.000e+00, 4.000e+00, 8.000e+00, ..., 2.245e+03, 2.229e+03,
            2.575e+03])


In: test.FarmID.unique()

Out: array([0.000e+00, 1.000e+00, 1.300e+01, ..., 2.245e+03, 2.229e+03,
            2.575e+03])


In: n = 2245
    df[df.FarmID==n].shape
    train[train.FarmID==n].shape
    test[test.FarmID==n].shape

Out: (1826, 35)
     (1225, 35)
     (601, 35)

Однако есть некоторые фермы, которые разделены правильно. 

In: n = 3668
    df[df.FarmID==n].shape
    train[train.FarmID==n].shape
    test[test.FarmID==n].shape

Out: (705, 35)
     (705, 35)
     (0, 35)

Кроме того, 995 из 3669 ферм перекрываются в наборах для испытания поездов. 

In: train_FarmIDs = train.FarmID.unique()
    test_FarmIDs = test.FarmID.unique()
    len(set(train_FarmIDs).intersection(set(test_FarmIDs)))

Out: 995

Я абсолютно озадачен тем, почему sklearn GroupShuffleSplit не разделяется по группам, которые я указал правильно. Буду очень признателен, если кто-нибудь поможет мне с этим вопросом!

...