Группа Pandas Dataframe и проверка с условием

Question

Фрейм данных:

id   Base   field1    field2    field3
1     Y      AA         BB        CC
1     N      AA         BB        CC
1     N      AA         BB        CC     
2     Y      DD         EE        FF
2     N      OO         EE        WT
2     N      DD         JQ        FF
3     Y      MM         NN        TT
3     Y      MM         NN        TT 
3     N      MM         NN        TT

Ожидаемый результат - сгруппировать этот фрейм данных на основе столбца ID, необходимо выполнить 2 проверки.

1. сначала проверьте, есть литолько одно базовое значение «Y» в каждой группе.Если это единственное значение true, тогда эту строку следует использовать как ссылку для проверки шага 2, в противном случае запишите ошибку как «Более одного основания Y найдено для идентификатора» и перейдите к шагу 1 для следующего идентификатора

2. Проверьте, совпадают ли данные по всем другим столбцам с «Base: N», с данными по столбцам, где «Base» - «Y», и запишите имена полей, которые не совпадают, в столбце ошибок.столбец продукта является уникальным полем, и его можно игнорировать для сравнения данных.

3. Повторите это для всех идентификаторов в кадре данных.

Ожидаемый результат:

id  product Base  field1  field2  field3   Error
1   A        Y     AA       BB      CC     Reference value
1   B        N     AA       BB      CC     Pass
1   C        N     AA       BB      CC     Pass
2   D        Y     DD       EE      FF     Reference value
2   E        N     OO       EE      WT     field1, field3 mismatch    
2   F        N     DE       JQ      FF     field1, field2 mismatch 
3   G        Y     MM       NN      TT     more than 1 Y found for id:
3   H        Y     MM       NN      TT     more than 1 Y found for id:
3   I        N     MM       NN      TT     more than 1 Y found for id:

Любая помощь по этому вопросу?

Answer 1

Использовать пользовательскую функцию:

def f(x):
    #boolena mask for compare Y
    mask = x['Base'] == 'Y'
    #check multiple Y by sum of Trues
    if mask.sum() > 1:
        x['Error'] = 'more than 1 base Y found for id:{}'.format(x.name)
    else:
        #remove columns for not comparing with not equal
        cols = x.columns.difference(['Base','product'])
        mask1 = x[cols].ne(x.loc[mask, cols])
        #if difference get columns names by dot
        if mask1.values.any():
            vals = mask1.dot(mask1.columns + ', ').str.rstrip(', ') + ' mismatch with base' 
            x['Error'] = np.where(mask, 'Base: Y', vals)    
        else:
            x['Error'] = np.where(mask, 'Base: Y', 'Pass')    

    return x

df = df.groupby(level=0).apply(f)
print (df)
   product Base field1 field2 field3                              Error
id                                                                     
1        A    Y     AA     BB     CC                            Base: Y
1        B    N     AA     BB     CC                               Pass
1        C    N     AA     BB     CC                               Pass
2        D    Y     DD     EE     FF                            Base: Y
2        E    N     OO     EE     WT  field1, field3 mismatch with base
2        F    N     DD     JQ     FF          field2 mismatch with base
3        G    Y     MM     NN     TT  more than 1 base Y found for id:3
3        H    Y     MM     NN     TT  more than 1 base Y found for id:3
3        I    N     MM     NN     TT  more than 1 base Y found for id:3

Пример кадра данных:

df = pd.DataFrame({'id': [1, 1, 1, 2, 2, 2, 3, 3, 3], 
                   'product': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I'], 
                   'Base': ['Y', 'N', 'N', 'Y', 'N', 'N', 'Y', 'Y', 'N'], 
                   'field1': ['AA', 'AA', 'AA', 'DD', 'OO', 'DD', 'MM', 'MM', 'MM'], 
                   'field2': ['BB', 'BB', 'BB', 'EE', 'EE', 'JQ', 'NN', 'NN', 'NN'], 
                   'field3': ['CC', 'CC', 'CC', 'FF', 'WT', 'FF', 'TT', 'TT', 'TT']})
df = df.set_index('id')
print (df)
   product Base field1 field2 field3
id                                  
1        A    Y     AA     BB     CC
1        B    N     AA     BB     CC
1        C    N     AA     BB     CC
2        D    Y     DD     EE     FF
2        E    N     OO     EE     WT
2        F    N     DD     JQ     FF
3        G    Y     MM     NN     TT
3        H    Y     MM     NN     TT
3        I    N     MM     NN     TT