Сводная статистика по агрегированным группам с использованием data.table - PullRequest
Новая
       71

Сводная статистика по агрегированным группам с использованием data.table

0 голосов
/ 14 октября 2018

У меня есть набор данных с такой структурой: 

library(data.table)    
dt <- data.table(
  record=c(1:20),
  area=rep(LETTERS[1:4], c(4, 6, 3, 7)), 
  score=c(1,1:3,2:3,1,1,1,2,2,1,2,1,1,1,1,1:3),
  cluster=c("X", "Y", "Z")[c(1,1:3,3,2,1,1:3,1,1:3,3,3,3,1:3)]
)

Я хотел бы объединить данные, чтобы я мог определить наиболее распространенный кластер в каждой области для заданной оценки (например, 1).Я также хотел бы, чтобы некоторые базовые частоты и проценты были рассчитаны так, чтобы результат выглядел примерно так: 

dt_summary_for_1_score <- data.table(
  area=c("A","B","C","D"),
  cluster_mode=c("X","X","X","Z"),
  cluster_pct = c(100,66.6,100,80),
  cluster_freq = c(2,2,1,4),
  record_freq = c(2,3,1,5)
)

В идеале я хотел бы получить решение, которое использует data.table.Спасибо.

1 Ответ

0 голосов
/ 14 октября 2018

Я бы использовал frank, хотя также возможно решение с sort(table(cluster)). 

dt_summary = 
  dt[ , .N, keyby = .(area, score, cluster)
      ][ , {
        idx = frank(-N, ties.method = 'min') == 1
        NN = sum(N)
        .(
          cluster_mode = cluster[idx],
          cluster_pct = 100*N[idx]/NN,
          cluster_freq = N[idx],
          record_freq = NN
        )
      }, by = .(area, score)]

Чтобы получить пример с score == 1, мы можем поднастроить это: 

dt_summary[score == 1]
#    area score cluster_mode cluster_pct cluster_freq record_freq
# 1:    A     1            X   100.00000            2           2
# 2:    B     1            X    66.66667            2           3
# 3:    C     1            X   100.00000            1           1
# 4:    D     1            Z    80.00000            4           5

Это возвращает разные строки в случае связей.Вместо этого вы можете попробовать что-то вроде cluster_mode = paste(cluster[idx], collapse = '|') или cluster_mode = list(cluster[idx]).

Разрушение логики: 

# Count how many times each cluster shows up with each area/score
dt[ , .N, keyby = .(area, score, cluster)
   ][ , {

    # Rank each cluster's count within each area/score & take the top;
    #   ties.method = 'min' guarantees that if there's
    #   a tie for "winner", _both_ will get rank 1
    #   (by default, ties.method = 'average')
    # Note that it is slightly inefficient to negate N
    #   in order to sort in descending order, especially
    #   if there are a large number of groups. We could
    #   either vectorize negation by using -.N in the 
    #   previous step or by using frankv (a lower-level
    #   version of frank) which has an 'order' argument
    idx = frank(-N, ties.method = 'min') == 1

    # calculate here since it's used twice
    NN = sum(N)

    .(
      # use [idx] to subset and make sure there are
      #   only as many rows on output as there are
      #   top-ranked clusters for this area/score
      cluster_mode = cluster[idx],
      cluster_pct = 100*N[idx]/NN,
      cluster_freq = N[idx],
      record_freq = NN
    )
  }, by = .(area, score)]
...