В этом вопросе используются Python-3.7 и pandas-0.23.4.
. В настоящее время я имею дело с финансовыми наборами данных, которые мне нужны для только извлечения данных каждого торгового дня между 08:1513: 45
Настройка переменной
Чтобы проиллюстрировать это, у меня есть переменная DataFrame с DateTimeIndex с непрерывной минутной частотой, объявленной как следующий код:
y = (
pd.DataFrame(columns=['x', 'y'])
.reindex(pd.date_range('20100101', '20100105', freq='1min'))
)
Введение в проблему
Я хочу разделить данные от каждого day между 08: 15 до 13: 45 .Следующий код, кажется, работает, но я не думаю, что он очень Pythonic, и он, кажется, не очень эффективно использует память, учитывая двойное индексирование в конце:
In [108]: y[y.index.hour.isin(range(8,14))][15:][:-14]
Out[108]:
x y
2010-01-01 08:15:00 NaN NaN
2010-01-01 08:16:00 NaN NaN
2010-01-01 08:17:00 NaN NaN
2010-01-01 08:18:00 NaN NaN
2010-01-01 08:19:00 NaN NaN
... ... ...
2010-01-04 13:41:00 NaN NaN
2010-01-04 13:42:00 NaN NaN
2010-01-04 13:43:00 NaN NaN
2010-01-04 13:44:00 NaN NaN
2010-01-04 13:45:00 NaN NaN
[1411 rows x 2 columns]
EDIT: ПослеТщательно проверив данные, приведенное выше индексирование не решает проблему, поскольку данные по-прежнему содержат время после 2010-01-01 13:45:00 и до 2010-01-02 08:15:00:
In [147]: y[y.index.hour.isin(range(8,14))][15:][:-14].index[300:400]
Out[147]:
DatetimeIndex(['2010-01-01 13:15:00', '2010-01-01 13:16:00',
'2010-01-01 13:17:00', '2010-01-01 13:18:00',
'2010-01-01 13:19:00', '2010-01-01 13:20:00',
...
'2010-01-01 13:35:00', '2010-01-01 13:36:00',
'2010-01-01 13:37:00', '2010-01-01 13:38:00',
'2010-01-01 13:39:00', '2010-01-01 13:40:00',
'2010-01-01 13:41:00', '2010-01-01 13:42:00',
'2010-01-01 13:43:00', '2010-01-01 13:44:00',
'2010-01-01 13:45:00', '2010-01-01 13:46:00', # 13:46:00 should be excluded
'2010-01-01 13:47:00', '2010-01-01 13:48:00', # this should be excluded
'2010-01-01 13:49:00', '2010-01-01 13:50:00', # this should be excluded
'2010-01-01 13:51:00', '2010-01-01 13:52:00', # this should be excluded
'2010-01-01 13:53:00', '2010-01-01 13:54:00', # this should be excluded
'2010-01-01 13:55:00', '2010-01-01 13:56:00', # this should be excluded
'2010-01-01 13:57:00', '2010-01-01 13:58:00', # this should be excluded
'2010-01-01 13:59:00', '2010-01-02 08:00:00', # this should be excluded
'2010-01-02 08:01:00', '2010-01-02 08:02:00', # this should be excluded
'2010-01-02 08:03:00', '2010-01-02 08:04:00', # this should be excluded
'2010-01-02 08:05:00', '2010-01-02 08:06:00', # this should be excluded
'2010-01-02 08:07:00', '2010-01-02 08:08:00', # this should be excluded
'2010-01-02 08:09:00', '2010-01-02 08:10:00', # this should be excluded
'2010-01-02 08:11:00', '2010-01-02 08:12:00', # this should be excluded
'2010-01-02 08:13:00', '2010-01-02 08:14:00', # this should be excluded
'2010-01-02 08:15:00', '2010-01-02 08:16:00',
'2010-01-02 08:17:00', '2010-01-02 08:18:00',
'2010-01-02 08:19:00', '2010-01-02 08:20:00',
...
'2010-01-02 08:47:00', '2010-01-02 08:48:00',
'2010-01-02 08:49:00', '2010-01-02 08:50:00',
'2010-01-02 08:51:00', '2010-01-02 08:52:00',
'2010-01-02 08:53:00', '2010-01-02 08:54:00'],
dtype='datetime64[ns]', freq=None)
Попытка обхода
Я пробовал несколькологическое маскирование, но следующий код будет обрезаться каждые 0 до 14 и 46 до 59 минут каждого часа:
y[(
y.index.hour.isin(range(8,14)) & y.index.minute.isin(range(15, 46))
)]
Вопрос
Должен быть лучший способ сделать это более эффективным способом, который я мог бы пропустить (или, возможно, pandas уже имел функцию).Какой более точный / питонный способ нарезать данные с помощью DateTimeIndex?Например:
y[(y.index.day("everyday") & y.index.time_between('08:15', '13:45'))]
или даже лучше:
y[y.index("everyday 08:15 to 13:45")]