Агрегирующий класс Date столбцы в data.table возвращают непустые NA. р - PullRequest
Новая
       24

Агрегирующий класс Date столбцы в data.table возвращают непустые NA. р

1 голос
/ 13 мая 2019

У меня есть data.table dt с несколькими столбцами Date. когда я агрегирую таблицу, я получаю значения NA для некоторых записей. Это ожидается. Тем не менее, поле на самом деле не NA, хотя это показывает, что это NA. когда я сравниваю эти поля даты NA, я не получаю NA, как ожидалось. Это странный результат, которого я не понимаю, и он вызывает хаос в моем анализе. 

> dt <- data.table(cust = c(1,1,2,2,2,3,3)
                 , DTE_off = as.Date(c('2018-07-31', '2019-05-06', '2014-06-01', '2015-06-01', '2019-05-06', '2018-06-18', '2019-05-06'), '%Y-%m-%d')
                 , chp_start = as.Date(c('2001-01-22', '2001-01-22', '2000-01-01', '2000-01-01', '2000-01-01', '2000-01-01', '2000-01-01'), '%Y-%m-%d')
                 , chp_end = as.Date(c('2019-05-05', '2019-05-05', '2019-05-05', '2019-05-05', '2019-05-05', '2019-05-05', '2019-05-05'), '%Y-%m-%d')
                 , prod_any = c('Y','Y','Y','Y', 'Y','N','N')) 

> dt
   cust    DTE_off  chp_start    chp_end prod_any
1:    1 2018-07-31 2001-01-22 2019-05-05        Y
2:    1 2019-05-06 2001-01-22 2019-05-05        Y
3:    2 2014-06-01 2000-01-01 2019-05-05        Y
4:    2 2015-06-01 2000-01-01 2019-05-05        Y
5:    2 2019-05-06 2000-01-01 2019-05-05        Y
6:    3 2018-06-18 2000-01-01 2019-05-05        N
7:    3 2019-05-06 2000-01-01 2019-05-05        N
> dt[, month := format(DTE_off, '%Y-%m')]
> dt
   cust    DTE_off  chp_start    chp_end prod_any   month
1:    1 2018-07-31 2001-01-22 2019-05-05        Y 2018-07
2:    1 2019-05-06 2001-01-22 2019-05-05        Y 2019-05
3:    2 2014-06-01 2000-01-01 2019-05-05        Y 2014-06
4:    2 2015-06-01 2000-01-01 2019-05-05        Y 2015-06
5:    2 2019-05-06 2000-01-01 2019-05-05        Y 2019-05
6:    3 2018-06-18 2000-01-01 2019-05-05        N 2018-06
7:    3 2019-05-06 2000-01-01 2019-05-05        N 2019-05
> dt_agg <- dt[ ,.(last_dte_off = max(DTE_off), any_start = max(chp_start[which(prod_any == "Y")], na.rm = TRUE), any_end = max(chp_end[which(prod_any == "Y")], na.rm = TRUE)) , by = .(cust, month)]
Warning messages:
1: In max.default(numeric(0), na.rm = TRUE) :
  no non-missing arguments to max; returning -Inf
2: In max.default(numeric(0), na.rm = TRUE) :
  no non-missing arguments to max; returning -Inf
3: In max.default(numeric(0), na.rm = TRUE) :
  no non-missing arguments to max; returning -Inf
4: In max.default(numeric(0), na.rm = TRUE) :
  no non-missing arguments to max; returning -Inf

когда я проверяю NA в dt_agg, их нет. но когда я смотрю на данные, есть NA. Эти NA действительны (они должны быть там!) 

> anyNA(dt_agg)
[1] FALSE
> dt_agg
   cust   month last_dte_off  any_start    any_end
1:    1 2018-07   2018-07-31 2001-01-22 2019-05-05
2:    1 2019-05   2019-05-06 2001-01-22 2019-05-05
3:    2 2014-06   2014-06-01 2000-01-01 2019-05-05
4:    2 2015-06   2015-06-01 2000-01-01 2019-05-05
5:    2 2019-05   2019-05-06 2000-01-01 2019-05-05
6:    3 2018-06   2018-06-18       <NA>       <NA>
7:    3 2019-05   2019-05-06       <NA>       <NA>

Хуже того, когда я пытаюсь сравнить агрегированные поля даты в dt_agg, записи с NA должны возвращать NA, но на самом деле они возвращают значение. это означает, что технически они не АН. Я не уверен, что происходит. 

> dt_agg[, compare := any_start > any_end]
> dt_agg
   cust   month last_dte_off  any_start    any_end compare
1:    1 2018-07   2018-07-31 2001-01-22 2019-05-05   FALSE
2:    1 2019-05   2019-05-06 2001-01-22 2019-05-05   FALSE
3:    2 2014-06   2014-06-01 2000-01-01 2019-05-05   FALSE
4:    2 2015-06   2015-06-01 2000-01-01 2019-05-05   FALSE
5:    2 2019-05   2019-05-06 2000-01-01 2019-05-05   FALSE
6:    3 2018-06   2018-06-18       <NA>       <NA>   FALSE  # what's going on here?!? compare should be NA, not FALSE
7:    3 2019-05   2019-05-06       <NA>       <NA>   FALSE  # what's going on here?! compare should be NA, NOT FALSE

Я думаю, что это как-то связано с классом Date в совокупности. Но все же, видеть значения NA, которые не являются NA, немного абсурдно?

1 Ответ

1 голос
/ 13 мая 2019

Предупреждение не относится к NA s в данных, но конкретная группа не имеет значения 'prod_any' в качестве "Y", и когда мы обертываем which в них, оно дает что-то похожее на

which(c(1, 3) == 5)
#integer(0)

и max из которых выдает предупреждение 

max(which(c(1, 3) == 5), na.rm = TRUE)
#[1] -Inf

Предупреждающее сообщение: в макс. (Которое (c (1, 3) == 5), нет.rm = TRUE): нет не пропущенных аргументов для max;return -Inf

Чтобы избежать предупреждения, мы можем пропустить max для этих групп, заключив в условие `if / else 

dt[, .(last_dte_off = max(DTE_off),
        any_start = if(!any(prod_any == "Y")) NA_real_ # changed here
              else max(chp_start[which(prod_any == "Y")], na.rm = TRUE),
         any_end = if(!any(prod_any == "Y")) NA_real_  
              else max(chp_end[which(prod_any == "Y")], na.rm = TRUE)),
         by = .(cust, month)]
#   cust   month last_dte_off  any_start    any_end
#1:    1 2018-07   2018-07-31 2001-01-22 2019-05-05
#2:    1 2019-05   2019-05-06 2001-01-22 2019-05-05
#3:    2 2014-06   2014-06-01 2000-01-01 2019-05-05
#4:    2 2015-06   2015-06-01 2000-01-01 2019-05-05
#5:    2 2019-05   2019-05-06 2000-01-01 2019-05-05
#6:    3 2018-06   2018-06-18       <NA>       <NA>
#7:    3 2019-05   2019-05-06       <NA>       <NA>

Нет предупрежденийздесь

...