Создать новые столбцы, применяя функцию к выбранным строкам панд - PullRequest
Новая
       12

Создать новые столбцы, применяя функцию к выбранным строкам панд

0 голосов
/ 11 октября 2018

Я хотел бы использовать следующую функцию для большого набора данных, 300000 строк с 1500 уникальными идентификаторами.И создайте две новые колонки, как показано ниже.Приведенная ниже функция работает применительно к фрейму данных в целом (len (df1)).Но я хочу применить его на основе длины каждого уникального идентификатора.

d = {'ID':['a12', 'a12','a12','b33','b33','b33','v55','v55','v55','v55'], 'Exp_A':[2.2,2.2,2.2,3.1,3.1,3.1,1.5,1.5,1.5,1.5], 
     'Exp_B':[2.4,2.4,2.4,1.2,1.2,1.2,1.5,1.5,1.5,1.5], 
     'A':[0,0,0,1,0,1,0,1,0,1], 'B':[0,0,1,0,1,0,1,0,1,0]}
df1 = pd.DataFrame(data=d)

def adj_Apois(row):
    i = row.name 
    if row.A == 1:
        return poisson.pmf(row.A, row.Exp_A*(i+1)/len(df1)) * row.Exp_A   
    else:
        return poisson.pmf(row.A, row.Exp_A*(i+1)/len(df1)) * row.Exp_A

def adj_Bpois(row):
    i = row.name 
    if row.B == 1:
        return poisson.pmf(row.B, row.Exp_B*(i+1)/len(df1)) * row.Exp_B
    else:
        return poisson.pmf(row.B, row.Exp_B*(i+1)/len(df1)) * row.Exp_B


df1['New1'] = df1.apply(adj_Apois, axis=1)
df1['New2'] = df1.apply(adj_Bpois, axis=1)

Желаемое прибытие

Замена вышеприведенного df1 длиной уникального идентификатора приведет к следующему 

    A   B   Exp_A   Exp_B   ID  new1    new2
0   0   0   2.2      2.4    a12 1.05667 1.07839
1   0   0   2.2      2.4    a12 0.50752 0.48455
2   0   1   2.2      2.4    a12 0.24377 0.86271
3   1   0   3.1      1.2    b33 1.13981 0.80438
4   0   1   3.1      1.2    b33 0.39248 0.43136
5   1   0   3.1      1.2    b33 0.43292 0.36143
6   0   1   1.5      1.5    v55 1.03093 0.3866
7   1   0   1.5      1.5    v55 0.53141 0.70855
8   0   1   1.5      1.5    v55 0.48698 0.54785
9   1   0   1.5      1.5    v55 0.50204 0.33469

Буду признателен за любую помощь.

1 Ответ

0 голосов
/ 11 октября 2018

IIUC, просто используйте poisson.pmf напрямую 

from spicy.stats import poisson

df1['New2a'] =  poisson.pmf(df1.B, df1.Exp_B*(df1.index+1)/len(df1)) * df1.Exp_B
df1['New1a'] =  poisson.pmf(df1.A, df1.Exp_A*(df1.index+1)/len(df1)) * df1.Exp_A

Дает такие же результаты 

>>> df1['New1a'].eq(df1['New1']).all()
True

Для группы: 

>>> df1.groupby('ID').apply(lambda s: poisson.pmf(s.B, s.Exp_B*(s.index+1)/len(s)) * s.Exp_B).reset_index()
...