Найти максимальное значение каждого дня из почасовых данных - PullRequest
Новая
       14

Найти максимальное значение каждого дня из почасовых данных

0 голосов
/ 22 марта 2019

У меня проблема с получением максимального значения каждого дня из почасовых данных. Исходный файл содержит 24 данных для каждого имени каждый день (их слишком много). В качестве примера приведем 24 данных для одного имени: 

Start Time  Period  name    value
2/23/2019 0:00  60  MBTS_H2145X 100
2/23/2019 1:00  60  MBTS_H2145X 100
2/23/2019 2:00  60  MBTS_H2145X 1
2/23/2019 3:00  60  MBTS_H2145X 1
2/23/2019 4:00  60  MBTS_H2145X 1
2/23/2019 5:00  60  MBTS_H2145X 2324
2/23/2019 6:00  60  MBTS_H2145X 2323
2/23/2019 7:00  60  MBTS_H2145X 2323
2/23/2019 8:00  60  MBTS_H2145X 2323
2/23/2019 9:00  60  MBTS_H2145X 2323
2/23/2019 10:00 60  MBTS_H2145X 2323
2/23/2019 11:00 60  MBTS_H2145X 2323
2/23/2019 12:00 60  MBTS_H2145X 1
2/23/2019 13:00 60  MBTS_H2145X 21
2/23/2019 14:00 60  MBTS_H2145X 21
2/23/2019 15:00 60  MBTS_H2145X 23
2/23/2019 16:00 60  MBTS_H2145X 350
2/23/2019 17:00 60  MBTS_H2145X 323
2/23/2019 18:00 60  MBTS_H2145X 23
2/23/2019 19:00 60  MBTS_H2145X 23
2/23/2019 20:00 60  MBTS_H2145X 2323
2/23/2019 21:00 60  MBTS_H2145X 23
2/23/2019 22:00 60  MBTS_H2145X 23
2/23/2019 23:00 60  MBTS_H2145X 2

результат, который я получаю: (что неверно и должно быть 2324) 

    Start Time  name    max value
0   2/23/2019   MBTS_H2145X 350

У меня есть коды ниже, но я получаю неправильный результат 

import dask.dataframe as dd
import numpy as np
import pandas as pd

filename='V.csv'
df = dd.read_csv(filename, dtype='str')


#_________changing date format 
df['Start Time'] = df['Start Time'].map(lambda x: pd.to_datetime(x, errors='coerce'))
#_________change to pure date without hour
df['Start Time'] = df['Start Time'].dt.date


grouped_df=(df.groupby(['Start Time','name']).agg({'value':'max'}).rename(columns={'value':'max value'}).reset_index())

grouped_df.to_csv('e1.csv')

print(grouped_df.head(12))

1 Ответ

0 голосов
/ 22 марта 2019

Держите ваш код точно таким же. Просто измените эту строку на: 

grouped_df=(df.groupby(['Start Time','name']).agg({'value':'max'}).rename(columns={'value':'max value'}).reset_index())

Изменить на: 

df.value = pd.to_numeric(df.value)

grouped_df= (df.groupby(['Start Time','name'])['value'].max().rename(columns={'value':'max value'}).reset_index()

df = pd.merge(df, grouped_df, on  = ['Start Time','name'])

Возможно, что-то происходит с агрегатной функцией.

ИЛИ ЕСЛИ ВАШ ДТИП ТОЛЬКО STRING, то просто добавьте строку pd.to_numeric и оставьте все остальное таким же.

...