Сортировка объектов datetime по часам в фрейм данных Pandas, а затем визуализация в гистограмму с помощью Matplotlib - PullRequest
Новая
       35

Сортировка объектов datetime по часам в фрейм данных Pandas, а затем визуализация в гистограмму с помощью Matplotlib

4 голосов
/ 08 мая 2019

Мне нужно сортировать зрителей по часам по гистограмме.У меня есть некоторый опыт использования Matplotlib для этого, но Я не могу найти самый прагматичный способ сортировки дат по часам.

Сначала я читаю данные из JSONфайл, затем сохраните два соответствующих типа данных в панде Dataframe, например: 

data = pd.read_json('data/data.json')

session_duration = pd.to_datetime(data.session_duration, unit='s').dt.time
time = pd.to_datetime(data.time, format='%H:%M:%S').dt.time

viewers = []

for x, y in zip(time, session_duration):
    viewers.append({str(x):str(y)})

РЕДАКТИРОВАТЬ: Исходный файл выглядит так, исключая несущественные части. 

{
    "time": "00:00:09",
    "session_duration": 91
},
{
    "time": "00:00:16",
    "session_duration": 29
},
{
    "time": "00:00:33",
    "session_duration": 102
},
{
    "time": "00:00:35",
    "session_duration": 203
}

Примечаниечто session_duration находится в секундах.

Я должен выделить два типа зрителей:

  • Те, кто провел <= 1 минуту в потоке </li>
  • Те, кто провел> = 1 минута в потоке

Для этого я делаю: 

import datetime
for element in viewers:
    for time, session_duration in element.items():
        if datetime.strptime(session_duration, '%H:%M:%S').time() >= datetime.strptime('00:01:00', '%H:%M:%S').time():
            viewers_more_than_1min.append(element)
        else:
            viewers_less_than_1min.append(element)

В результате у меня есть значения в словаре, подобном этому: {session_duration: time} Где ключом является время окончания сеанса потока и значением является время, потраченное на просмотр . 

[{'00:00:09': '00:01:31'},
 {'00:00:16': '00:00:29'},
 {'00:00:33': '00:01:42'},
 {'00:00:35': '00:03:23'},
 {'00:00:36': '00:00:32'},
 {'00:00:37': '00:04:47'},
 {'00:00:47': '00:00:42'},
 {'00:00:53': '00:00:44'},
 {'00:00:56': '00:00:28'},
 {'00:00:58': '00:01:17'},
 {'00:01:04': '00:01:16'},
 {'00:01:09': '00:00:46'},
 {'00:01:29': '00:01:07'},
 {'00:01:31': '00:01:02'},
 {'00:01:32': '00:01:01'},
 {'00:01:32': '00:00:36'},
 {'00:01:37': '00:03:03'},
 {'00:01:49': '00:00:57'},
 {'00:02:01': '00:02:15'},
 {'00:02:18': '00:01:16'}]

В качестве последнего шага я хочу создать гистограммуwithMatplotlib, представляющий viewercount для каждого нашего из двух viewertypЭто упомянуто выше в час.Я предполагаю, что это будет примерно так: 

import matplotlib.pyplot as plt
import datetime as dt
hours = [(dt.time(i).strftime('%H:00')) for i in range(24)]
plt.xlabel('Hour')
plt.ylabel('Viewer count')
plt.bar(hours, sorted_viewcount_byhour)

1 Ответ

1 голос
/ 08 мая 2019 
df = pd.read_json('data/data.json')

df['time'] = pd.to_datetime(df['time'])
#timedelta is a more appropriate data type for session_duration
df['session_duration'] = pd.to_timedelta(df['session_duration'], unit='s')

# Example filtering
df_short_duration = df[df['session_duration'].dt.total_seconds() <= 60]

# Example creating histogram
df_hist = df_short_duration.groupby(df['time'].dt.hour).count()
# Now just plot df_hist as a bar chart using matplotlib, might be something like plt.bar(df_hist.index, df_hist['count'])
...