Как получить максимальные значения при группировании всего кадра данных в Пандах, а не в каждой строке - PullRequest
Новая
       1

Как получить максимальные значения при группировании всего кадра данных в Пандах, а не в каждой строке

0 голосов
/ 23 мая 2019

Мой вывод моего фрейма данных выглядит следующим образом. Я хочу сгруппировать field id, чтобы получить max HourlyTempF, min HourlyTempF и sum из HourlyPrecipIn 24-часового периода. Мое текущее решение дает максимум для каждой строки, которая, кстати, снова является целым кадром данных. У меня должно быть три значения для каждого поля id.

Я думаю, проблема в том, что каждая строка в моем фрейме данных - это "собственный фрейм данных", каждая строка имеет заголовок и столбцы, поэтому, когда я получаю max, min, sum, я получаю текущие значения для каждого строка для каждого часа, на самом деле я просто хочу сгруппировать весь фрейм данных, чтобы получить вывод, как показано ниже, и создать переменные из значений в желаемом выводе, чтобы я мог поместить их в другой фрейм данных.

Мой код: 

`import pandas as pd
 import pandas


hrly_df = pd.DataFrame({'dateTime' :[t], 'field id': [id_], 'HourlyPrecipIn': [aPreVJ],'HourlyRH' : [aHumidVJ], 'HourlyTempF' : [aTempVJ]})


hrly_df = hrly_df[['dateTime','field id','HourlyPrecipIn','HourlyRH', 'HourlyTempF']]
hrly_df.head()
hrlydfs = hrLylst.append(hrly_df)


#GETS EACH MAX ROW INSTEAD OF MAX FOR DF
tempMax= hrly_df.groupby('field id')['HourlyTempF'].agg(['max'])
tempMax2 = tempMax.max().max()

# print 'Data successfully collected - writing to csv...'

tempDf = pd.DataFrame({'date' :[config.dayVal ], 'field id': [id_], 'DailyHighF': ['SHOULD BE MAX FROM hrly_df'],'DailyLowF' : ['SHOULD BE MIN FROM HRLY DF'], 'DailyPrecipIn' : ['SHOULD BE TOTAL FROM HRLY DF']})

Токовый выход при печати tempMax

Starting import of field id: 40238 44.9 45.1 45.1 45.3 46.7 46.7 48.6 50.2 52.1 54.0 54.3 54.5 54.7 54.5 56.4 56.6 55.7 54.0 54.0 54.1 54.1 53.6 52.2 Starting import of field id: 3402 44.9 45.1 45.1 45.3 46.7 46.7 48.6 50.2 52.1 54.0 54.4 54.5 54.7 54.5 56.5 56.6 55.7 54.1 54.0 54.1 54.2 53.6 52.2 Starting import of field id: 45883 45.3 45.6 45.7 45.9 47.1 47.3 49.1 50.7 52.7 54.3 54.8 55.0 55.2 55.0 57.1 57.5 56.2 54.6 54.4 54.6 54.6 53.8 52.7

Требуемый выход: 

field id | max temp  | min temp | total precip
40238      56.4         44.9        0.06
3402       56.6         44.9        0.06
45883      57.7         45.3        0.06

Текущий кадр данных dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 01:00:00 40238 0.0 98.8 44.9 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 02:00:00 40238 0.0 98.9 45.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 03:00:00 40238 0.0 98.7 45.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 04:00:00 40238 0.02 99.6 45.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 05:00:00 40238 0.0 95.0 46.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 06:00:00 40238 0.0 99.8 46.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 07:00:00 40238 0.02 95.6 48.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 08:00:00 40238 0.0 94.4 50.2 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 09:00:00 40238 0.01 93.6 52.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 10:00:00 40238 0.0 93.6 54.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 11:00:00 40238 0.01 93.5 54.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 12:00:00 40238 0.0 87.3 54.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 13:00:00 40238 0.0 86.1 54.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 14:00:00 40238 0.0 88.0 54.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 15:00:00 40238 0.0 82.1 56.4 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 16:00:00 40238 0.0 85.5 56.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 17:00:00 40238 0.0 82.9 55.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 18:00:00 40238 0.0 82.6 54.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 19:00:00 40238 0.0 79.1 54.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 20:00:00 40238 0.0 83.8 54.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 21:00:00 40238 0.0 87.9 54.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 22:00:00 40238 0.0 88.6 53.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 23:00:00 40238 0.0 87.5 52.2 Starting import of field id: 3402 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 01:00:00 3402 0.0 98.7 44.9 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 02:00:00 3402 0.0 98.8 45.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 03:00:00 3402 0.0 98.7 45.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 04:00:00 3402 0.01 99.5 45.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 05:00:00 3402 0.0 95.0 46.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 06:00:00 3402 0.0 99.7 46.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 07:00:00 3402 0.02 95.6 48.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 08:00:00 3402 0.0 94.5 50.2 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 09:00:00 3402 0.01 93.6 52.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 10:00:00 3402 0.0 93.6 54.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 11:00:00 3402 0.01 93.5 54.4 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 12:00:00 3402 0.0 87.3 54.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 13:00:00 3402 0.0 86.0 54.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 14:00:00 3402 0.0 87.9 54.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 15:00:00 3402 0.0 82.0 56.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 16:00:00 3402 0.0 85.4 56.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 17:00:00 3402 0.0 82.9 55.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 18:00:00 3402 0.0 82.6 54.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 19:00:00 3402 0.0 79.2 54.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 20:00:00 3402 0.0 83.8 54.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 21:00:00 3402 0.0 87.9 54.2 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 22:00:00 3402 0.0 88.6 53.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 23:00:00 3402 0.0 87.5 52.2 Starting import of field id: 45883 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 01:00:00 45883 0.0 97.9 45.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 02:00:00 45883 0.0 97.9 45.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 03:00:00 45883 0.0 97.7 45.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 04:00:00 45883 0.0 99.0 45.9 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 05:00:00 45883 0.0 95.5 47.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 06:00:00 45883 0.0 99.0 47.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 07:00:00 45883 0.03 95.3 49.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 08:00:00 45883 0.0 95.2 50.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 09:00:00 45883 0.01 94.0 52.7 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 10:00:00 45883 0.02 93.3 54.3 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 11:00:00 45883 0.04 92.9 54.8 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 12:00:00 45883 0.0 86.9 55.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 13:00:00 45883 0.0 84.7 55.2 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 14:00:00 45883 0.0 87.3 55.0 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 15:00:00 45883 0.0 81.9 57.1 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 16:00:00 45883 0.0 83.4 57.5 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 17:00:00 45883 0.0 82.5 56.2 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 18:00:00 45883 0.0 82.1 54.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 19:00:00 45883 0.0 80.1 54.4 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 20:00:00 45883 0.0 83.9 54.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 21:00:00 45883 0.0 87.4 54.6 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 22:00:00 45883 0.0 88.4 53.8 dateTime field id HourlyPrecipIn HourlyRH HourlyTempF 0 2019-05-22 23:00:00 45883 0.0 87.5 52.7

1 Ответ

1 голос
/ 23 мая 2019

Обратите внимание, что значения, которые я вижу, могут немного отличаться из-за ошибок, возникающих при копировании / вставке ваших данных, но самый простой способ получить (что я предполагаю) ваш вывод, это использовать groupby в столбцах сagg() функция со словарем агрегаций.

Вот как выглядят данные в моем тестировании DF: 

    dateTime    field       id      HourlyPrecipIn  HourlyRH    HourlyTempF
0   2019-05-22  01:00:00    40238   0.0             98.8        44.9
0   2019-05-22  02:00:00    40238   0.0             98.9        45.1
0   2019-05-22  03:00:00    40238   0.0             98.7        45.1
0   2019-05-22  04:00:00    40238   0.02            99.6        45.3
0   2019-05-22  05:00:00    40238   0.0             95.0        46.7
0   2019-05-22  06:00:00    40238   0.0             99.8        46.7

Если ваши данные поступают в виде отдельных строк, то получают их вотдельный фрейм данных может быть совсем другой проблемой. 

df.groupby('id').agg({'HourlyTempF':[max,min],'HourlyPrecipIn':sum})

        HourlyTempF     HourlyPrecipIn
        max     min     sum
id          
3402    56.6    44.9    0.05
40238   56.6    44.9    0.06
45883   57.5    45.3    0.10
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...