Как работать с нерегулярно разнесенными временными рядами и возвращает правильно разнесенные - PullRequest
Новая
       31

Как работать с нерегулярно разнесенными временными рядами и возвращает правильно разнесенные

0 голосов
/ 02 февраля 2019

У меня есть набор данных цен акций за один тик за тик, и я хочу преобразовать высокочастотные данные с нерегулярным интервалом в более короткие частоты с регулярным интервалом для последующего анализа данных.Я использую здесь R.

Данные отслеживают стоимость конкретной акции для каждой транзакции / котировки с частотой 1 секунда.Так, например, в datetime 2009-07-16 13:30:01 (ссылаясь на данные ниже), есть две кавычки, оцениваемые в 145.88 и 145.89 в течение этой секунды.

                   Date   Value
2009-07-16T13:30:01.000  145.88
2009-07-16T13:30:01.000  145.89
2009-07-16T13:30:02.000  145.57
2009-07-16T13:30:02.000  145.75
2009-07-16T13:30:03.000  145.65
2009-07-16T13:30:03.000  145.84
2009-07-16T13:30:03.000 145.776
2009-07-16T13:30:04.000  145.74
2009-07-16T13:30:04.000  145.68
2009-07-16T13:30:04.000  145.68
2009-07-16T13:30:04.000  145.76
2009-07-16T13:30:04.000  145.68
.
.
.

Сначала я хотел бы преобразовать данные в регулярные временные ряды с интервалом, где они показывают только самое последнее значение акции за каждую секунду: 

                   Date   Value
2009-07-16T13:30:01.000  145.89
2009-07-16T13:30:02.000  145.75
2009-07-16T13:30:03.000 145.776
2009-07-16T13:30:04.000  145.68
2009-07-16T13:30:05.000  145.76
2009-07-16T13:30:06.000  145.85
2009-07-16T13:30:07.000   145.8
2009-07-16T13:30:08.000  145.62
2009-07-16T13:30:09.000  145.85
2009-07-16T13:30:10.000  145.64
.
.
.

Но самое главноеЯ хочу преобразовать данные в регулярные интервалы с низкой частотой и временные ряды с более низкой частотой, скажем, 1 мин, где они показывают последнее значение запаса за каждую минуту: 

                   Date  Value
2009-07-16T13:31:00.000 145.89
2009-07-16T13:32:00.000 145.53
2009-07-16T13:33:00.000 145.68
2009-07-16T13:34:00.000 145.14
2009-07-16T13:35:00.000  145.7
2009-07-16T13:36:00.000 145.83
2009-07-16T13:37:00.000 145.88
2009-07-16T13:38:00.000 145.62
2009-07-16T13:39.00.000 145.84
2009-07-16T13:40:00.000 145.63
.
.
.

Я пытался использовать aggregatets()из пакета highfrequency, но он не возвращает желаемых результатов.Дата и время не являются регулярными интервалами и не имеют более низкой частоты, хотя я указал 1 минуту, как показано в моем коде. 

library(lubridate)
library(dplyr)
data$Date <- ymd_hms(data$Date)

library(xts)
data_xts <- as.xts(data[,"Value"], order.by=data[,"Date"])

library(highfrequency)
data_new <- aggregatets(data_xts, on="minutes", k=1)

Как мне сделать это в R?

1 Ответ

0 голосов
/ 02 февраля 2019

Выполните агрегацию раньше.

Вот что у вас есть: 

> head(df1, 10)
                      date    value
1  2019-02-02T13:59:38.000 145.8922
2  2019-02-02T13:59:38.000 145.8820
3  2019-02-02T13:59:38.000 145.7998
4  2019-02-02T13:59:39.000 145.8122
5  2019-02-02T13:59:39.000 145.7355
6  2019-02-02T13:59:39.000 145.7822
7  2019-02-02T13:59:40.000 145.7078
8  2019-02-02T13:59:41.000 145.7133
9  2019-02-02T13:59:41.000 145.6906
10 2019-02-02T13:59:41.000 145.8749

Теперь мы используем aggregate(), чтобы получить самое последнее значение каждой секунды (то есть самую высокую строкучисло каждой секунды). 

df1.sec <- aggregate(value ~ date, df1, FUN=function(x) x[length(x)])
> head(df1.sec, 10)
                      date    value
1  2019-02-02T13:59:38.000 145.7998
2  2019-02-02T13:59:39.000 145.7822
3  2019-02-02T13:59:40.000 145.7078
4  2019-02-02T13:59:41.000 145.8749
5  2019-02-02T13:59:42.000 145.7630
6  2019-02-02T13:59:43.000 145.7921
7  2019-02-02T13:59:44.000 145.6459
8  2019-02-02T13:59:45.000 145.7680
9  2019-02-02T13:59:46.000 145.7966
10 2019-02-02T13:59:47.000 145.8542

Затем мы делаем то же самое с минутами, вырезая секунды с помощью substr(). 

df1.min <- aggregate(value ~ substr(date, 1, 16), df1.sec, FUN=function(x) x[length(x)])
> head(df1.min, 10)
   substr(date, 1, 16)    value
1     2019-02-02T13:59 145.8073
2     2019-02-02T14:00 145.6909
3     2019-02-02T14:01 145.8617
4     2019-02-02T14:02 145.7452
5     2019-02-02T14:03 145.7080
6     2019-02-02T14:04 145.8530
7     2019-02-02T14:05 145.9772
8     2019-02-02T14:06 145.8247
9     2019-02-02T14:07 145.9125
10    2019-02-02T14:08 145.6915

( Примечание: Если это имеет значение, чтобы предотвратить странное имя столбца "substr(date, 1, 16)", мы могли бы также сделать:) 

# with(df1.sec, aggregate(list(value=value), by=list(date=substr(date, 1, 16)),
#                         FUN=function(x) x[length(x)]))
# #                date    value
# # 1  2019-02-03T09:43 146.0894
# # 2  2019-02-03T09:44 145.7456
# # ...

xts() хочет, например, формат POSIXct, поэтому мы конвертируем его. 

df1.min$date.POSIX <- as.POSIXct(df1.min$`substr(date, 1, 16)`, format="%FT%H:%M")

Теперь мы можем установить объект xts для чистых данных. 

library(xts)
data_xts <- xts(df1.min$value, order.by=df1.min$date.POSIX)

Результат 

> data_xts
                        [,1]
2019-02-02 13:59:00 145.8073
2019-02-02 14:00:00 145.6909
2019-02-02 14:01:00 145.8617
2019-02-02 14:02:00 145.7452
2019-02-02 14:03:00 145.7080
2019-02-02 14:04:00 145.8530
2019-02-02 14:05:00 145.9772
2019-02-02 14:06:00 145.8247
2019-02-02 14:07:00 145.9125
2019-02-02 14:08:00 145.6915

Игрушечные данные 

set.seed(42)
date <- as.POSIXct(unlist(sapply(as.matrix(1:1000), function(x) 
  rep(x, sample(1:3, 1))))[1:1000], origin=Sys.time())
df1 <- data.frame(date=date,
                  value=rnorm(1000, 145.8, 0.08962))
df1$date <- strftime(df1$date, format="%FT%H:%M:%S.000")
...