Pandas groupby город и месяц и заполнить пропущенные месяцы

Question

У меня есть DataFrame с несколькими городами с несколькими значениями для каждого месяца. Мне нужно сгруппировать эти значения по городам и месяцам, заполнив недостающие месяцы с помощью NA.

Группировка по городам и месяцам работ:

self.probes[['city', 'date', 'value']].groupby(['city',pd.Grouper(key='date', freq='M')])

| Munich   | 2018-06 | values... |
| Munich   | 2018-08 | values... |
| Munich   | 2018-09 | values... |
| New York | 2018-06 | values... |
| New York | 2018-07 | values... |

Но я не могу включить пропущенные месяцы.

| Munich   | 2018-06 | values... |
| Munich   |*2018-07*| NA instead of values |
| Munich   | 2018-08 | values... |
| Munich   | 2018-09 | values... |
| New York | 2018-06 | values... |
| New York | 2018-07 | values... |

Answer 1

Я думаю, вам нужно добавить некоторую статистическую функцию, например, sum first:

print (probes)
       city        date  value
0    Munich  2018-06-01      4
1    Munich  2018-08-01      1
2    Munich  2018-08-03      5
3    Munich  2018-09-01      1
4  New York  2018-06-01      1
5  New York  2018-07-01      2

probes['date'] = pd.to_datetime(probes['date'])
s = probes.groupby(['city',pd.Grouper(key='date', freq='M')])['value'].sum()
print (s)
city      date      
Munich    2018-06-30    4
          2018-08-31    6
          2018-09-30    1
New York  2018-06-30    1
          2018-07-31    2
Name: value, dtype: int64

А затем используйте groupby на city с asfreq, reset_index, необходимые для DatetimeIndex:

df1 = (s.reset_index(level=0)
        .groupby('city')['value']
        .apply(lambda x: x.asfreq('M'))
        .reset_index())
print (df1)
       city       date  value
0    Munich 2018-06-30    4.0
1    Munich 2018-07-31    NaN
2    Munich 2018-08-31    6.0
3    Munich 2018-09-30    1.0
4  New York 2018-06-30    1.0
5  New York 2018-07-31    2.0

Также возможно использование MS для начала месяца:

probes['date'] = pd.to_datetime(probes['date'])
s = probes.groupby(['city',pd.Grouper(key='date', freq='MS')])['value'].sum()

df1 = (s.reset_index(level=0)
        .groupby('city')['value']
        .apply(lambda x: x.asfreq('MS'))
        .reset_index()
        )
print (df1)
       city       date  value
0    Munich 2018-06-01    4.0
1    Munich 2018-07-01    NaN
2    Munich 2018-08-01    6.0
3    Munich 2018-09-01    1.0
4  New York 2018-06-01    1.0
5  New York 2018-07-01    2.0