В панде DataFrame с показаниями для нескольких систем, как я могу рассчитать среднесуточные значения и выбрать самое последнее среднее значение для каждой системы - PullRequest
Новая
       8

В панде DataFrame с показаниями для нескольких систем, как я могу рассчитать среднесуточные значения и выбрать самое последнее среднее значение для каждой системы

1 голос
/ 24 апреля 2019

Я импортировал свой набор данных в панду DataFrame.Каждая строка представляет собой одно чтение (амплитуда) из определенной системы (id) в определенную отметку времени (time_stamp).В каждой системе есть несколько показаний.

Я хотел бы выбрать самое последнее среднесуточное значение для каждой системы.

Это пример моего набора данных: 

df.head(6)

                 time_stamp     amplitude
id      
id1     2018-06-19 00:36:00     16163.1
id1     2018-06-19 01:19:00     16399.7
id1     2018-06-19 01:24:00     16463.3
id1     2018-06-19 03:51:00     16139.4
id2     2018-03-17 03:41:00     11886.0
id2     2018-03-17 03:41:00     12293.6

Столбец с метками времени был преобразован в pd.TimeStamp: 

df.dtypes

time_stamp        datetime64[ns]
amplitude         float64
dtype: object

Я начал с вычисления среднесуточного значения для каждой системы.

Для этого у меня естьзаменил отметки времени датами, сгруппировал строки по системному идентификатору (индексу) и рассчитал среднее значение для каждой даты.Это создает DataFrame с MultiIndex ['id', 'date'] 

av = df.copy()

# work with dates rather than time stamps
av['date'] = av.time_stamp.dt.date
av.drop('time_stamp', axis=1, inplace=True)

# calculate daily means for each system
av = av.groupby([av.index,'date']).mean()
av
                    amplitude
id      date    
id1     2018-03-17  13923.500
        2018-04-17  14130.325
        2018-12-22  13532.650
id2     2018-03-17  12234.720
        2018-04-17  12367.050
id3     2018-06-19  16291.375

На этом этапе я застреваю.

Может кто-нибудь подсказать, как я могу создать новый DataFrame споследние средние значения для каждой системы.Примерно так: 

            date     amplitude
id      
id1     2018-12-22  13532.650
id2     2018-04-17  12367.050
id3     2018-06-19  16291.375

Спасибо

1 Ответ

0 голосов
/ 24 апреля 2019

Используйте Index.get_level_values с Index.duplicated, инвертирующую маску по ~ и фильтр по boolean indexing: 

print (df)
             time_stamp  amplitude
id                                
id1 2018-06-19 00:36:00    16163.1
id1 2018-06-18 01:19:00    16399.7
id1 2018-06-18 01:24:00    16463.3
id1 2018-06-20 03:51:00    16139.4
id2 2018-03-17 03:41:00    11886.0
id2 2018-03-17 03:41:00    12293.6

#simplfying solution
av = df.groupby([df.index, df['time_stamp'].dt.date.rename('date')]).mean()
#alternative
#av = df.groupby([df.index, df['time_stamp'].dt.floor('d').rename('date')]).mean()
av = av[~av.index.get_level_values('id').duplicated(keep='last')]
print (av)
                amplitude
id  date           
id1 2018-06-20    16139.4
id2 2018-03-17    12089.8

Если преобразовать MultiIndex в столбцы, используйте DataFrame.drop_duplicates: 

av = df.groupby([df.index, df['time_stamp'].dt.date.rename('date')]).mean().reset_index()

av = av.drop_duplicates('id', keep='last')
print (av)
    id        date  amplitude
2  id1  2018-06-20    16139.4
3  id2  2018-03-17    12089.8
...