Как я могу посчитать 95-й процентиль по таблице с numpy? - PullRequest
Новая
       14

Как я могу посчитать 95-й процентиль по таблице с numpy?

0 голосов
/ 17 октября 2019

Я пытаюсь вычислить 95-й процентиль и другие процентили из моей таблицы, используя numpy. Однако функция для этого кажется мне неясной, поскольку для работы ей нужен массив: 

>>> a = np.array([[10, 7, 4], [3, 2, 1]])
>>> a
array([[10,  7,  4],
       [ 3,  2,  1]])
>>> np.percentile(a, 50)

Это был бы путь для 50-го процентиля над массивом.

Воткак выглядит моя таблица: 

Date        Hour    Month       Value
9/1/2019    0:00    SEPTEMBER   377.3333333
9/1/2019    0:00    SEPTEMBER   268.8
9/1/2019    0:00    SEPTEMBER   400.8
9/1/2019    0:00    SEPTEMBER   279.1304348
9/1/2019    0:05    SEPTEMBER   440
9/1/2019    0:05    SEPTEMBER   228
9/1/2019    0:05    SEPTEMBER   350
9/1/2019    0:05    SEPTEMBER   283.2
9/1/2019    0:10    SEPTEMBER   385.3333333
9/1/2019    0:10    SEPTEMBER   240
9/1/2019    0:10    SEPTEMBER   347.5
9/1/2019    0:10    SEPTEMBER   175.2
9/1/2019    0:15    SEPTEMBER   440
9/1/2019    0:15    SEPTEMBER   202.8
9/1/2019    0:15    SEPTEMBER   204
9/1/2019    0:15    SEPTEMBER   182.4
...
9/2/2019    0:00    SEPTEMBER   416
9/2/2019    0:00    SEPTEMBER   134.4
9/2/2019    0:00    SEPTEMBER   370
...

До конца сентября

Я хочу рассчитать 95-й процентиль для каждого 5-минутного интервала.

Окончательный результат должен быть чем-токак: 

Time    September
0:00    95th Value
0:05    95th Value
0:10    95th Value
0:15    95th Value

....

1 Ответ

0 голосов
/ 17 октября 2019 
import re
import pandas as pd

data = '''9/1/2019    0:00    SEPTEMBER   377.3333333
9/1/2019    0:00    SEPTEMBER   268.8
9/1/2019    0:00    SEPTEMBER   400.8
9/1/2019    0:00    SEPTEMBER   279.1304348
9/1/2019    0:05    SEPTEMBER   440
9/1/2019    0:05    SEPTEMBER   228
9/1/2019    0:05    SEPTEMBER   350
9/1/2019    0:05    SEPTEMBER   283.2
9/1/2019    0:10    SEPTEMBER   385.3333333
9/1/2019    0:10    SEPTEMBER   240
9/1/2019    0:10    SEPTEMBER   347.5
9/1/2019    0:10    SEPTEMBER   175.2
9/1/2019    0:15    SEPTEMBER   440
9/1/2019    0:15    SEPTEMBER   202.8
9/1/2019    0:15    SEPTEMBER   204
9/1/2019    0:15    SEPTEMBER   182.4
9/1/2019    0:20    SEPTEMBER   416
9/1/2019    0:20    SEPTEMBER   134.4
9/1/2019    0:20    SEPTEMBER   370
9/2/2019    0:05    SEPTEMBER   145.9
9/2/2019    0:05    SEPTEMBER   360'''

data = [re.split('[ ]+', x) for x in data.split('\n')]
df = pd.DataFrame(data, columns=['date','hour','month','value'])
df['value'] = df['value'].astype(float)
print(df.groupby(['date','hour']).value.quantile(0.95))
...