Pandas: разделение df на основе повторяющихся флагов

Question

У меня есть df, который выглядит примерно так:

      HEADER1   HEADER2   HEADER3
0     Group1    Value2    Value3
1     Group2    Value4    Value5
4     Group1    Value6    Value7
5     Group2    Value8    Value9
6     TAIL1     TAIL2     TAIL3

Заголовок и хвост всегда будут одинаковыми, и мне нужно сохранить это для всех разделенных dfs

Так если мы предположим, что record или единица полезной информации в этом df является каждым набором Group1 and Group2 - тогда этот df будет иметь 2 набора данных.

Какой лучший способ отделить это? поэтому у нас есть 2 dfs, которые выглядят так:

      HEADER1   HEADER2   HEADER3
0     Group1    Value2    Value3
1     Group2    Value4    Value5
6     TAIL1     TAIL2     TAIL3

      HEADER1   HEADER2   HEADER3
4     Group1    Value6    Value7
5     Group2    Value8    Value9
6     TAIL1     TAIL2     TAIL3

Может быть любое количество сплитов, поэтому в идеале я бы хотел сосредоточиться на эффективности ... Информация приветствуется

• РЕДАКТИРОВАТЬ *

Если бы я хотел расширить ответ и преобразовать dfs во что-то вроде этого:

{
    "headers": 

        {"SomeHeaderName": "Header1", "SomeOtherHeaderName": "Header2"}, 

    "groups": [
            "Group1": {"Value2": "GroupValue2",  "Value3": "GroupValue3"}, 
            "Group2": {"Value4": "GroupValue4",  "Value5": "GroupValue5"}
        ] 
    "trailer": 
        {"SomeTailName": "Tail1", "SomeOtherTailName": "Tail2"}
}

Ключи извлекаются из уже существующей структуры а затем просто заархивировать их с записями df в качестве значений

Answer 1

Используйте понимание списка с groupby и добавьте последнюю строку на DataFrame.append:

#get last row
last = df.iloc[[-1]]
print (last)
  HEADER1 HEADER2 HEADER3
6   TAIL1   TAIL2   TAIL3

#get all rows without last
df1 = df.iloc[:-1]
#specify first value of group in first column
s = df1.iloc[:, 0].eq('Group1').cumsum()

a = [x.append(last, ignore_index=True) for i, x in df1.groupby(s)]
print (a)
[  HEADER1 HEADER2 HEADER3
0  Group1  Value2  Value3
1  Group2  Value4  Value5
2   TAIL1   TAIL2   TAIL3,   HEADER1 HEADER2 HEADER3
0  Group1  Value6  Value7
1  Group2  Value8  Value9
2   TAIL1   TAIL2   TAIL3]

Answer 2

Вы можете сделать это примерно так:

# create a list to store the dataframes
frames = []

last_group = ''
this_group = ''
# go over all rows in df.values
for row_id in range(0, len(df.values)):
    this_group = df.iloc[row_id][0]
    # leave the first row out of the comparison
    if(last_group != ''): 
        # if the last group was 1 and this is 2 then write both rows to the new dataset
        if(this_group == 'Group2' and last_group == 'Group1'): 
            # create a new empty dataset
            df_new_data = {
                'HEADER1': []
                , 'HEADER2': []
                , 'HEADER3': []
            }
            # add the match-rows
            df_new_data['HEADER1'].append(df.iloc[row_id-1][0])
            df_new_data['HEADER2'].append(df.iloc[row_id-1][1])
            df_new_data["HEADER3"].append(df.iloc[row_id-1][2])
            df_new_data['HEADER1'].append(df.iloc[row_id][0])
            df_new_data['HEADER2'].append(df.iloc[row_id][1])
            df_new_data['HEADER3'].append(df.iloc[row_id][2])
            # create new DataFrame from dataset
            frames.append(pd.DataFrame(df_new_data))
    # remember this value as 'last value'
    last_group = this_group

# show all new dataframes' shape
for frame in frames:
    print(frame.shape)