Как настроить соотношение, наблюдая за другими строками с такими же свойствами

Question

Рассмотрим следующий кадр данных:

tdf=pd.DataFrame({'City':['NY','NY','NY','NY','NY','CA','CA','CA','CA','CA','CA'],'PRJ':['A','B','C','D','E','F','GG','GG','I','J','K'],'Year':[2011,2012,2013,2014,2015,2011,2012,2012,2013,2014,2015],'EXPECTED':[2,3,4,6.1,7,7.1,8,3,10,11,11],'ACTUAL':[0.5,1.8,2.7,5.1,5.8,6.8,10,10,8,8.1,8.2]})

Моя цель - добавить ratio=actual/expected. Если бы у меня не было проекта GG, это было бы тривиально:

tdf['Ratio']=tdf['ACTUAL']/tdf['EXPECTED']

Учитывая этот вызов, я хочу добавить еще один столбец ACTUAL_ADJUSTED , где я 'pro-rate' ACTUAL , например так:

prj_ratio = 10/(8+3) = 0.909
gg6_actual = (0.909*8)=7.272
gg7_actual = (0.909*3)=2.727

Что я пробовал? Я построил функцию

def make_adjustments(r): 
    s = tdf[(tdf['City']==r['City']) & (tdf['Year']==r['Year']) ]
    if len(s)>1:
        return "problem here" 
    else:
        return 'ok'


tdf['ACTUAL_ADJUSTED'] = tdf.apply(make_adjustments,axis=1)

Эта функция будет определять проблему, но в действительности (по моим реальным данным) это занимает значительное время. Поэтому я пришел к выводу, что я не на правильном пути. Есть идеи, как решить это правильно?

Answer 1

Попробуйте:

def adjust(x):
    if len(x)==1:
        return x['ACTUAL']/x['EXPECTED']
    else:
        return x['ACTUAL'] * x['EXPECTED'] / x['EXPECTED'].sum()


tdf['RATIO'] = (tdf.groupby(['City', 'Year'])
                .apply(adjust).
                reset_index(level=[0,1], drop=True)
               )

Вывод:

+-----+-------+------+-------+-----------+---------+----------+
|     | City  | PRJ  | Year  | EXPECTED  | ACTUAL  |  RATIO   |
+-----+-------+------+-------+-----------+---------+----------+
|  0  | NY    | A    | 2011  | 2.0       | 0.5     | 0.250000 |
|  1  | NY    | B    | 2012  | 3.0       | 1.8     | 0.600000 |
|  2  | NY    | C    | 2013  | 4.0       | 2.7     | 0.675000 |
|  3  | NY    | D    | 2014  | 6.1       | 5.1     | 0.836066 |
|  4  | NY    | E    | 2015  | 7.0       | 5.8     | 0.828571 |
|  5  | CA    | F    | 2011  | 7.1       | 6.8     | 0.957746 |
|  6  | CA    | GG   | 2012  | 8.0       | 10.0    | 7.272727 |
|  7  | CA    | GG   | 2012  | 3.0       | 10.0    | 2.727273 |
|  8  | CA    | I    | 2013  | 10.0      | 8.0     | 0.800000 |
|  9  | CA    | J    | 2014  | 11.0      | 8.1     | 0.736364 |
| 10  | CA    | K    | 2015  | 11.0      | 8.2     | 0.745455 |
+-----+-------+------+-------+-----------+---------+----------+

Или, если вы хотите, чтобы столбец 'ACTUAL_ADJUSTED' в вашем образце:

tdf['ACTUAL_ADJUSTED'] = (tdf.groupby(['City', 'Year'])
                          .ACTUAL.transform(lambda x: 
                                            'OK' if len(x)==1 
                                                 else 'problem here')
                         )

Answer 2

Если это так, используя transform с nunique, тогда np.where

s=tdf.groupby(['City','PRJ'])['EXPECTED'].transform('nunique')
s1=tdf.groupby(['City','PRJ'])['EXPECTED'].transform('sum')
tdf['ACTUAL_ADJUSTED']=np.where(s>1,'problem here','ok')
tdf['value']=np.where(s==1,tdf.ACTUAL/df.EXPECTED,tdf.ACTUAL/s1*tdf.EXPECTED)

tdf
Out[728]: 
   City PRJ  Year  EXPECTED  ACTUAL     Ratio ACTUAL_ADJUSTED     value
0    NY   A  2011       2.0     0.5  0.250000              ok  0.250000
1    NY   B  2012       3.0     1.8  0.600000              ok  0.600000
2    NY   C  2013       4.0     2.7  0.675000              ok  0.675000
3    NY   D  2014       6.1     5.1  0.836066              ok  0.836066
4    NY   E  2015       7.0     5.8  0.828571              ok  0.828571
5    CA   F  2011       7.1     6.8  0.957746              ok  0.957746
6    CA  GG  2012       8.0    10.0  1.250000    problem here  7.272727
7    CA  GG  2012       3.0    10.0  3.333333    problem here  2.727273
8    CA   I  2013      10.0     8.0  0.800000              ok  0.800000
9    CA   J  2014      11.0     8.1  0.736364              ok  0.736364
10   CA   K  2015      11.0     8.2  0.745455              ok  0.745455