Построить новый столбец, который дает средние значения других элементов в группе, используя панд

Question

Я хотел бы улучшить производительность и элегантность кода, используя Pandas для нового столбца, в котором приведены средние значения других элементов в группе.

Вы можете думать об этом как о средних значениях другихтипы для каждой даты.

• Мой исходный кадр данных (df):

  idx = [np.array(['Jan-18', 'Jan-18', 'Feb-18', 'Mar-18', 'Mar-18', 'Mar-18','Mar-18', 'Mar-18', 'May-18', 'Jun-18', 'Jun-18', 'Jun-18','Jul-18', 'Aug-18', 'Aug-18', 'Sep-18', 'Sep-18', 'Oct-18','Oct-18', 'Oct-18', 'Nov-18', 'Dec-18', 'Dec-18',]),np.array(['A', 'B', 'B', 'A', 'B', 'C', 'D', 'E', 'B', 'A', 'B', 'C','A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'A', 'B', 'C'])]
  data = [{'xx': 1}, {'xx': 5}, {'xx': 3}, {'xx': 2}, {'xx': 7}, {'xx': 3},{'xx': 1}, {'xx': 6}, {'xx': 3}, {'xx': 5}, {'xx': 2}, {'xx': 3},{'xx': 1}, {'xx': 9}, {'xx': 3}, {'xx': 2}, {'xx': 7}, {'xx': 3}, {'xx': 6}, {'xx': 8}, {'xx': 2}, {'xx': 7}, {'xx': 9}]
  df = pd.DataFrame(data, index=idx, columns=['xx'])
  df.index.names=['date','type']
  df=df.reset_index()
  df['date'] = pd.to_datetime(df['date'],format = '%b-%y') 
  df=df.set_index(['date','type'])
  

Мой код:

df['avg'] = df.groupby('date').transform('mean')
df['N'] = (df.assign(TYPE = df.index.get_level_values('type')).groupby('date').TYPE.transform('nunique'))
df['zzz']= df['avg'].multiply(df['N'], axis=0)
df['hhh']= df['zzz']-df['xx']
df['yy'] = df['hhh'].div((df['N']-1))
del df['avg']
del df['N']
del df['zzz']
del df['hhh']

И в результате:

                  xx    yy
date       type
2018-01-01 A     1.0  5.00
           B     5.0  1.00
2018-02-01 B     3.0   NaN
2018-03-01 A     2.0  4.25
           B     7.0  3.00
           C     3.0  4.00
           D     1.0  4.50
           E     6.0  3.25
2018-05-01 B     3.0   NaN
2018-06-01 A     5.0  2.50
           B     2.0  4.00
           C     3.0  3.50
2018-07-01 A     1.0   NaN
2018-08-01 B     9.0  3.00
           C     3.0  9.00
2018-09-01 A     2.0  7.00
           B     7.0  2.00
2018-10-01 C     3.0  7.00
           A     6.0  5.50
           B     8.0  4.50
2018-11-01 A     2.0   NaN
2018-12-01 B     7.0  9.00
           C     9.0  7.00

Хотя я могу правильно получить средние значения других элементов на определенную дату, я думаю, что с помощью панд должен быть более чистый / более быстрый путь к этому.

Любое решение, которое, по вашему мнению, улучшает код, приветствуется.Спасибо!

Answer 1

Вот, пожалуйста:

df['yy'] = (df.groupby('date').xx
              .apply(lambda x: (x.sum() - x)/(len(x) - 1))
           )

выход:

                xx  yy
date       type         
2018-01-01  A   1   5.00
            B   5   1.00
2018-02-01  B   3   NaN
2018-03-01  A   2   4.25
            B   7   3.00
            C   3   4.00
            D   1   4.50
            E   6   3.25
2018-05-01  B   3   NaN
2018-06-01  A   5   2.50
            B   2   4.00
            C   3   3.50
2018-07-01  A   1   NaN
2018-08-01  B   9   3.00
            C   3   9.00
2018-09-01  A   2   7.00
            B   7   2.00
2018-10-01  C   3   7.00
            A   6   5.50
            B   8   4.50
2018-11-01  A   2   NaN
2018-12-01  B   7   9.00
            C   9   7.00

Answer 2

Я думаю, ваш код в порядке.Единственное, что вы можете сделать, это сделать математику в одной строке, не нужно сохранять и удалять промежуточные столбцы.

df['avg'] = df.groupby('date').transform('mean')
N = (df.assign(TYPE = df.index.get_level_values('type')).groupby('date').TYPE.transform('nunique'))
df['yy'] = (df['avg'].multiply(N, axis=0) - df['xx']).div(N-1)

Это дает вам ваш окончательный результат.
N является отдельнымфрейм данных (вы можете оставить его там или сделать del N, если хотите), и нет необходимости удалять другие столбцы.
В плане производительности у вас меньше назначений, поэтому он должен быть немного (но пренебрежимо малым) быстрее.