Как заполнить 0 в кадре данных панд с фиксированным номером индекса?

Question

Я хочу использовать CNN для некоторой таблицы данных (dataframe или ndarray) но у меня есть разные данные строки в каждом индексе.

Источник:

mIndex  valueA  valueB
------  ------  --------  
  1       111     10      
  1       112     20      
  2       222     30      
  2       221     40      
  2       223     50      
  3       333     60    

Надежда: (максимум 3 строки каждого индекса)

mIndex  valueA  valueB
------  ------  --------  
  1       111     10      
  1       112     20   
  1         0      0
  2       222     30      
  2       221     40      
  2       223     50      
  3       333     60    
  3         0      0
  3         0      0

Я хочу сделать это для укладки CNN.

Но возможно ли это сделать в функции сложения numpy или keras?

Пожалуйста, помогите. Заранее спасибо.

Answer 1

Метод 1

Сначала примените np.array, чтобы получить массивы, затем примените pd.Series, чтобы в основном повернуть значения каждого столбца в строку, чтобы мы могли использовать стек для преобразования. После этого мы используем stack и сохраняем NaN.

В итоге мы concat все кадры данных до одного окончательного кадра данных за axis=1

cols = ['valueA', 'valueB']
dfs = []
for col in cols:
    dfs.append(df.groupby('mIndex')[col].apply(np.array)
                                        .apply(pd.Series)
                                        .stack(dropna=False).reset_index(level=0)
                                                            .rename({0:col}, axis=1))

df_final = pd.concat(dfs, axis=1).reset_index(drop=True)

print(df_final)
   mIndex  valueA  mIndex  valueB
0       1   111.0       1    10.0
1       1   112.0       1    20.0
2       1     NaN       1     NaN
3       2   222.0       2    30.0
4       2   221.0       2    40.0
5       2   223.0       2    50.0
6       3   333.0       3    60.0
7       3     NaN       3     NaN
8       3     NaN       3     NaN

Метод 2

мы можем получить доступ к groupby элементам

df= pd.concat([
       d.reset_index(drop=True).reindex(range(3))
       for n, d in df.groupby('mIndex')
], ignore_index=True)

print(df)
   mIndex  valueA  valueB
0     1.0   111.0    10.0
1     1.0   112.0    20.0
2     NaN     NaN     NaN
3     2.0   222.0    30.0
4     2.0   221.0    40.0
5     2.0   223.0    50.0
6     3.0   333.0    60.0
7     NaN     NaN     NaN
8     NaN     NaN     NaN

Answer 2

Я могу сделать это только глупо, может быть, у кого-то есть лучшее решение:

# df
   mIndex valueA valueB
0       1      a      a
1       2      b      b
2       2      b      b
3       3      c      c

Вот и мы:

# get number of required padding
nPad = df.groupby('mIndex').mIndex.count().transform(lambda x: 3-x)

# get paddings
pads = []
for i, row in nPad.items():
    for _ in range(row):
        pads.append([i, 0, 0])
pads = pd.DataFrame(pads, columns=df.columns)

# padding
df = pd.concat([df, pads], ignore_index=True)
       .set_index('mIndex').sort_values('mIndex')

После заполнения:

   mIndex valueA valueB
1      a      a
1      0      0
1      0      0
2      b      b
2      b      b
2      0      0
3      c      c
3      0      0
3      0      0