Суммирование элементов между двумя NA

Question

У меня есть набор данных, который имеет следующую форму:

  > dput(greece_news_data_combined[27192:27220,])
structure(list(time_and_date_correct = structure(c(1295435821.228, 
1295436780, 1295436780, 1295441160, 1295449020, 1295449020, 1295449020, 
1295449020, 1295449020, 1295449020, 1295449020, 1295449020, 1295462160, 
1295462160, 1295464200, 1295464200, 1295497810.833, 1295498110.378, 
1295498410.519, 1295498710.444, 1295499010.456, 1295499310.399, 
1295499610.479, 1295499910.325, 1295500210.583, 1295500510.338, 
1295500810.38, 1295501110.317, 1295501410.539), class = c("POSIXct", 
"POSIXt"), tzone = ""), log_returns = c(0, NA, NA, NA, NA, NA, 
NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, -0.00601513577729679, 
-0.000206914274819529, 2.67010219832664e-05, 0.0024201544576403, 
0.0050083466252285, -0.00333167721488612, 0.00130213542003227, 
0.00560767076743004, 0.000679785002929741, 0.000336421598800745, 
-7.91478416137673e-05, 0.00181223339755887, 0.00268922532925481
), negative_percentage = c(NA, 2.20883534136546, 2.20883534136546, 
5.55555555555556, 3.59897172236504, 3.59897172236504, 3.59897172236504, 
3.59897172236504, 3.59897172236504, 3.59897172236504, 3.59897172236504, 
3.59897172236504, 4.45269016697588, 4.45269016697588, 1.39442231075697, 
2.1978021978022, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 
NA, NA), positive_percentage = c(NA, 2.81124497991968, 2.81124497991968, 
3.17460317460317, 0.25706940874036, 0.25706940874036, 0.25706940874036, 
0.25706940874036, 0.25706940874036, 0.25706940874036, 0.25706940874036, 
0.25706940874036, 0.556586270871985, 0.556586270871985, 0.99601593625498, 
1.0989010989011, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 
NA, NA), sum_of_negative = c(NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_), number_of_articles = c(NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, 
NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_, NA_real_
)), row.names = 27192:27220, class = "data.frame")

Я хотел бы сохранить суммы строк между NA, а также их количество.Есть несколько частей моего набора данных, которые появляются между NA, я хотел бы как-то свернуть их, а затем иметь суммы и количество строк, чтобы я мог вычислить средние для переменных Var1 и т. Д. Есть идеи, как это сделать?

Answer 1

Следующее должно дать то, что вы после.Функция naSplits () идентифицирует, где значения NA встречаются до / после значения не-NA, возвращая индекс позиции разрывов NA / не-NA, с помощью которого можно сегментировать наборы.Для значений NA на полях (или их отсутствия) добавляется либо начальный индекс 1, либо длина вектора, чтобы получить пары начальных и конечных положений в качестве вектора.Затем он разделяется на список пар начальной / конечной позиции, которые повторяются.lapply используется для итерации по вашим столбцам путем создания data.frame с именем df_splits из df, определенного в вашем примере.Результатом является список промежуточных последовательностей значений не-NA, подсчет их длины и суммы их значений.

naSplits <- function(vec)
{
  naBelow <- is.na(vec[c(2:length(vec),length(vec))])
  naAbove <- is.na(vec[c(1,1:length(vec)-1)])
  naRow <- is.na(vec)

  splits <- which((!naRow & naAbove) | (!naRow & naBelow))

  if (!is.na(vec[1])) splits <- c(1,splits)
  if (!is.na(vec[length(vec)])) splits <- c(splits,length(vec))

  split_groups <- cumsum(seq_along(splits) %% 2)
  split(data.frame(split_groups,splits,type=c("start","end")),split_groups)
}


df_splits <- df[,c("log_returns","negative_percentage","positive_percentage")]
lapply(df_splits,function(xA) {
  splits <- naSplits(xA)
  lapply(splits,function(xB) {
    start <- xB$splits[xB$type=="start"]
    end <- xB$splits[xB$type=="end"]
    values <- xA[start:end]
    list(values=list(values),count=length(values),total=sum(values))
  })
})

Вывод дает то, что кажется запрошенным в вашем вопросе:

$log_returns
$log_returns$`1`
$log_returns$`1`$values
$log_returns$`1`$values[[1]]
[1] 0
$log_returns$`1`$count
[1] 1
$log_returns$`1`$total
[1] 0 

$log_returns$`2`
$log_returns$`2`$values
$log_returns$`2`$values[[1]]
 [1] -6.015136e-03 -2.069143e-04  2.670102e-05  2.420154e-03  5.008347e-03 -3.331677e-03  1.302135e-03  5.607671e-03  6.797850e-04  3.364216e-04 -7.914784e-05  1.812233e-03
[13]  2.689225e-03
$log_returns$`2`$count
[1] 13    
$log_returns$`2`$total
[1] 0.0102498

$negative_percentage
$negative_percentage$`1`
$negative_percentage$`1`$values
$negative_percentage$`1`$values[[1]]
 [1] 2.208835 2.208835 5.555556 3.598972 3.598972 3.598972 3.598972 3.598972 3.598972 3.598972 3.598972 4.452690 4.452690 1.394422 2.197802
$negative_percentage$`1`$count
[1] 15
$negative_percentage$`1`$total
[1] 51.2626

$positive_percentage
$positive_percentage$`1`
$positive_percentage$`1`$values
$positive_percentage$`1`$values[[1]]
 [1] 2.8112450 2.8112450 3.1746032 0.2570694 0.2570694 0.2570694 0.2570694 0.2570694 0.2570694 0.2570694 0.2570694 0.5565863 0.5565863 0.9960159 1.0989011
$positive_percentage$`1`$count
[1] 15
$positive_percentage$`1`$total
[1] 14.06174