Множественная ковариационная матрица с данными высокой частоты с использованием R

Question

Я работаю с высокочастотными данными, которые содержат 2 миллиона наблюдений. Теперь мне нужно вычислить дневную матрицу реализованной ковариации, определенную как:

Пусть будет внутридневным вектор цен и количество внутридневных цен

Мои данные имеют следующую структуру:

Year Month Day FivMin   A   B   C   D
2000   1    1    1      1   2   3   4
2000   1    1    2      2   3   0   1
2000   1    1    3      3   4   1   2
2000   1    1    4      0   1   2   3
2000   1    2    1      1   2   3   4
2000   1    2    2      5   3   4   1
2000   1    2    3      3   0   1   2
2000   1    2    4      4   1   9   3
2000   1    3    1      1   2   3   4
2000   1    3    2      0   1   7   1
2000   1    3    3      3   4   1   2
2000   1    3    4      1   -2   2   3
2000   1    4    1      0   2   3   4
2000   1    4    2      2   1   4   1
2000   1    4    3      3   0   1   2
2000   1    4    4      0   2   2   3
2000   1    5    1      1   2   3   4
2000   1    5    2      2   3   4   1
2000   1    5    3      0   -1   1   2
2000   1    5    4      9   1   2   3

Переменные A, B, C и D представляют цены, записанные каждые пять минут. Поэтому моя первая идея - использовать group_by с переменными Year, Month и Day, чтобы создать матрицу . После этого мне нужно рассчитать Реализованный Cov для каждого дня.

Например, в первый день моя Реализованная Cov будет:

эта операция должна повторяться каждый день. Я не знаю, есть ли пакет для этой проблемы или нет. Может быть, лучше использовать al oop.

Спасибо за помощь.

Answer 1

Вот базовое решение R с использованием split (для группировки) + tcrossprod (для матрицы покрытия)

res <- lapply(split(df,df[c("Year","Month","Day")]), 
              function(x) tcrossprod(t(x[c("A","B","C","D")])))

, такой что

> res
$`2000.1.1`
   A  B  C  D
A 14 20  6 12
B 20 30 12 22
C  6 12 14 20
D 12 22 20 30

$`2000.1.2`
   A  B   C  D
A 51 21  62 27
B 21 14  27 14
C 62 27 107 45
D 27 14  45 30

$`2000.1.3`
   A  B  C  D
A 11 12  8 13
B 12 25 13 11
C  8 13 63 27
D 13 11 27 30

$`2000.1.4`
   A  B  C  D
A 13  2 11  8
B  2  9 14 15
C 11 14 30 24
D  8 15 24 30

$`2000.1.5`
   A  B  C  D
A 86 17 29 33
B 17 15 19 12
C 29 19 30 24
D 33 12 24 30

ДАННЫЕ

df <- structure(list(Year = c(2000L, 2000L, 2000L, 2000L, 2000L, 2000L, 
2000L, 2000L, 2000L, 2000L, 2000L, 2000L, 2000L, 2000L, 2000L, 
2000L, 2000L, 2000L, 2000L, 2000L), Month = c(1L, 1L, 1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L
), Day = c(1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 3L, 3L, 3L, 3L, 4L, 
4L, 4L, 4L, 5L, 5L, 5L, 5L), FivMin = c(1L, 2L, 3L, 4L, 1L, 2L, 
3L, 4L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L), A = c(1L, 
2L, 3L, 0L, 1L, 5L, 3L, 4L, 1L, 0L, 3L, 1L, 0L, 2L, 3L, 0L, 1L, 
2L, 0L, 9L), B = c(2L, 3L, 4L, 1L, 2L, 3L, 0L, 1L, 2L, 1L, 4L, 
-2L, 2L, 1L, 0L, 2L, 2L, 3L, -1L, 1L), C = c(3L, 0L, 1L, 2L, 
3L, 4L, 1L, 9L, 3L, 7L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L, 1L, 2L
), D = c(4L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L, 1L, 2L, 3L, 4L, 
1L, 2L, 3L, 4L, 1L, 2L, 3L)), class = "data.frame", row.names = c(NA, 
-20L))