Соедините последнее и следующее не-NA значения с промежуточными значениями, которые растут равномерно - PullRequest
0 голосов
/ 21 мая 2018

Каким будет хороший способ заполнить отсутствующие NA в столбце кадра данных промежуточными значениями, которые постепенно растут от последнего значения не-NA к следующему значению не-NA?

Вот пример:для столбца cost я хотел бы получить столбец cost_esti, где затраты увеличиваются на 31 доллар в год в период с 2014 по 2016 год, соединяя последнюю известную стоимость в 595 долларов со следующей известной стоимостью в 720

enter image description here

Код, который я придумал, длинный.Есть ли элегантный способ сделать то же самое?

library(data.table)
data = data.table(year=2000:2018,
                  cost = c(100,120,NA,200,220,NA,NA,300,350,470,500,NA,NA,595,NA,NA,NA,720,800))

data[,cost_nas:=as.numeric(is.na(cost))]

## consecutive nas so far for each row:
data[, consecutive_nas_so_far := seq_len(.N), by=rleid(cost_nas)]
data[cost_nas==0,consecutive_nas_so_far:=0]

# total number of consecutive nas in the sequence
data[,total_number_of_consec_nas:=ifelse(consecutive_nas_so_far>0&shift(consecutive_nas_so_far,1,type = "lead")==0,consecutive_nas_so_far,NA)]
data[cost_nas==0,total_number_of_consec_nas:=0]
data[,total_number_of_consec_nas:=zoo::na.locf(total_number_of_consec_nas,fromLast=T)]

#get last and next known values for cost:
data[,cost_previous:=zoo::na.locf(cost)]
data[,cost_following:=zoo::na.locf(cost,fromLast=T)]

# apply the formula to calculate the gradual increase from cost_previous to cost_following
data[,cost_esti:=round(consecutive_nas_so_far*(cost_following-cost_previous)/(total_number_of_consec_nas+1)+cost_previous,0)]
data[is.na(cost_esti),cost_esti:=cost]

1 Ответ

0 голосов
/ 21 мая 2018

Вы можете re-write операции с таблицами данных, используя zoo::na.locf и data.table::rleid.Добавьте 2 столбца, по одному для lastNonNA и nextNonNA, используя na.locf.rleid предоставит вам отдельную группу для непрерывного NA.Теперь вы можете написать логику для заполнения NA, используя linear между lastNonNA и nextNonNA.

library(data.table)
library(zoo)
#Data
data = data.table(year=2000:2018,
       cost = c(100,120,NA,200,220,NA,NA,300,350,470,500,NA,NA,595,NA,NA,NA,720,800))

data[,':='(lastNonNA = na.locf(cost, fromLast = FALSE), 
nextNonNA = na.locf(cost, fromLast = TRUE), Group_NA = rleid(is.na(cost)))][
  ,':='(IDX = 1:.N), by=Group_NA][
  ,':='(cost = ifelse(is.na(cost), lastNonNA + IDX*((nextNonNA - lastNonNA)/(.N+1)),cost)), 
    by=Group_NA][,.(year, cost)]

#    year     cost
# 1: 2000 100.0000
# 2: 2001 120.0000
# 3: 2002 160.0000   #Filled
# 4: 2003 200.0000
# 5: 2004 220.0000
# 6: 2005 246.6667  #Filled 
# 7: 2006 273.3333  #Filled
# 8: 2007 300.0000
# 9: 2008 350.0000
# 10: 2009 470.0000
# 11: 2010 500.0000
# 12: 2011 531.6667 #Filled
# 13: 2012 563.3333 #Filled
# 14: 2013 595.0000
# 15: 2014 626.2500 #Filled 
# 16: 2015 657.5000 #Filled
# 17: 2016 688.7500 #Filled
# 18: 2017 720.0000
# 19: 2018 800.0000
...