Кадр данных сквош Панды на основе столбца

Question

Я читаю из API, который возвращает JSON Я использую

from pandas.io.json import json_normalize 
flatten = json_normalize(data['results'])

Чтобы сгладить JSON, теперь вывод выглядит как

                                     breakdowns                 metric                  time         value   
0      [{u'key': u'platform', u'value': u'ios'}]      fb_ad_network_imp    2018-08-29T07:00:00+0000  12
1  [{u'key': u'platform', u'value': u'android'}]      fb_ad_network_imp    2018-08-29T07:00:00+0000  32
2      [{u'key': u'platform', u'value': u'ios'}]  fb_ad_network_request    2018-08-29T07:00:00+0000  33    
3  [{u'key': u'platform', u'value': u'android'}]  fb_ad_network_request    2018-08-29T07:00:00+0000  132 

Теперь я хочу сжать эти 4 строки в 2 на основе платформы, что-то вроде этого:

           platform    date         clicks     impressions
0          ios         2018-08-29   33         12
1          android     2018-08-29   132        32

Я также нанес на карту эти имена:

fb_ad_network_request -> clicks
fb_ad_network_imp -> impressions

каков наилучший способ сделать это?

Answer 1

Создать pandas.Series из словарного понимания

m0 = dict(fb_ad_network_imp='impressions', fb_ad_network_request='clicks')
flatten.time = pd.to_datetime(flatten.time).dt.floor('D')

s = pd.Series({
    (b[0]['value'], t, m0[m]): v for b, m, t, v in flatten.values
})

s.rename_axis(['platform', 'date', None]).unstack().reset_index()

  platform       date  clicks  impressions
0  android 2018-08-29     132           32
1      ios 2018-08-29      33           12

---

Аналогично

m0 = dict(fb_ad_network_imp='impressions', fb_ad_network_request='clicks')

def f(tup):
  b = tup.breakdowns[0]['value']
  t = pd.to_datetime(tup.time).floor('D')
  m = m0[tup.metric]
  v = tup.value
  return ((b, t, m), v)

s = pd.Series(dict(map(f, flatten.itertuples())))

s.rename_axis(['platform', 'date', None]).unstack().reset_index()

  platform       date  clicks  impressions
0  android 2018-08-29     132           32
1      ios 2018-08-29      33           12

Answer 2

Вы можете использовать pivot_table после выравнивания dict

dddd['platform']=pd.concat([pd.DataFrame(x) for x in dddd.breakdowns]).value.values
dddd.pivot_table(index=['platform','time'],columns='metric',values='value',aggfunc=sum).reset_index()
Out[237]: 
metric platform        time  fb_ad_network_imp  fb_ad_network_request
0       android  2018-08-29                 32                    132
1           ios  2018-08-29                 12                     33

Answer 3

Настройка

df = pd.DataFrame({
    'breakdowns': [[{u'key': u'platform', u'value': u'ios'}],
                   [{u'key': u'platform', u'value': u'android'}],
                   [{u'key': u'platform', u'value': u'ios'}],
                   [{u'key': u'platform', u'value': u'android'}]],
    'metric': ['fb_ad_network_imp'] * 2 + ['fb_ad_network_request'] * 2,
    'time': ['2018-08-29T07:00:00+0000'] * 4,
    'value': [12, 32, 33, 132]
})
df['time'] = pd.DatetimeIndex(df['time'])

Решение

Предполагается, что столбец time содержит временные метки, а затем использует метод доступа dt, чтобы получить даты и назначить их новому столбцу в цепочке данных.

Я использовал лямбда-функцию для получения платформы из столбца разбивок, а затем сгруппировал эти значения вместе с датой и метрикой. Метрика не составляется, поэтому каждый столбец будет находиться в отдельных столбцах, индекс сбрасывается, а столбцы переименовываются в нужный формат.

result = (
    df
    .assign(date=df['time'].dt.date)
    .groupby([df['breakdowns'].apply(lambda x: x[0].get('value')), 'date', 'metric'])
    ['value']
    .sum()
    .unstack('metric')
    .reset_index()
    .rename(columns={
        'breakdowns': 'platform',
        'fb_ad_network_request': 'clicks',
        'fb_ad_network_imp': 'impressions'
    })
)
result.columns.name = None

>>> result
  platform        date  impressions  clicks
0  android  2018-08-29           32     132
1      ios  2018-08-29           12      33

Answer 4

Настройка

tmp = pd.Series([i[0].get('value', None) for i in df.breakdowns]).rename('platform')

mapping = {
    'columns': {
        'fb_ad_network_request': 'clicks',
        'fb_ad_network_imp': 'impressions',
        'time': 'date',
    }
}

Использование groupby и unstack:

(df.join(tmp).groupby(['platform', df.time.dt.date, 'metric'])
    .value.sum().unstack().reset_index().rename(**mapping))

metric platform        date  impressions  clicks
0       android  2018-08-29           32     132
1           ios  2018-08-29           12      33