Объединение двух наборов данных с помощью функции data.table roll = 'near' - PullRequest
Новая
       8

Объединение двух наборов данных с помощью функции data.table roll = 'near'

0 голосов
/ 03 января 2019

У меня есть два набора данных.

Образец set_A (общее количество строк: 45467): 

ID_a    a1  a2  a3  time_a
2   35694   5245.2  301.6053    00.00944
3   85694   9278.9  301.6051    23.00972
4   65694   9375.2  301.6049    22.00972
5   85653   4375.5  301.6047    19.00972
6   12694   5236.3  301.6045    22.00972
7   85697   5345.2  301.6043    21.00972
8   85640   5274.1  301.6041    20.01000
9   30694   5279.0  301.6039    20.01000

Образец set_B (общее количество строк: 4798): 

ID_b    b1  b2  source  time_b
2   34.20   15.114  set1.csv.1  20.35750
7   67.20   16.114  set1.csv.2  21.35778
12  12.20   33.114  set1.csv.3  22.35806
17  73.20   67.114  set2.csv.1  23.35833
23  88.20   42.114  set2.csv.2  19.35861
28  90.20   52.114  set3.csv.1  00.35889

Меня интересует результат, в котором set_B строки из set_A соответствуют ближайшим значениям time_a и time_b (общее количество выходных строк: 4798). В set_A значения time_a могут повторяться несколько раз (например, ID_a[8,] и [ID_a[9,]) - на самом деле не имеет значения, какая строка будет объединена со строкой из set_B (в данном случае ID_b[1,]). Пример ожидаемого результата: 

ID_b    b1  b2  source  time_b      ID_a    a1  a2  a3  time_a
2   34.20   15.114  set1.csv.1  20.35750    8   85640   5274.1  301.6041    20.01000
7   67.20   16.114  set1.csv.2  21.35778    7   85697   5345.2  301.6043    21.00972
12  12.20   33.114  set1.csv.3  22.35806    4   65694   9375.2  301.6049    22.00972
17  73.20   67.114  set2.csv.1  23.35833    3   85694   9278.9  301.6051    23.00972
23  88.20   42.114  set2.csv.2  19.35861    5   85653   4375.5  301.6047    19.00972
28  90.20   52.114  set3.csv.1  00.35889    2   35694   5245.2  301.6053    00.00944

Я прошел через много похожих вопросов по stackoverflow, и мне действительно нравятся data.table библиотечные коды, так как они выглядят действительно элегантно. Однако я предпринял несколько неудачных попыток, когда получил таблицу, построенную на основе двух наборов (общее количество строк 45467), или объединил только один столбец time_a в set_B ... Тем не менее, я не буду разборчивым и если у кого-то есть другая идея, я был бы очень благодарен за помощь.

Пример кода, над которым я работаю: 

setDT(set_B)
setDT(set_A)
setkey(set_B, time_b) [, time_a:=time_b]
test_ab <- set_B[set_A, roll='nearest']

В результате я получаю не только таблицу с данными, которые следует игнорировать, но также и «беспорядок» в именах столбцов (например, столбец, содержащий значения ID_a, называется time_a).

Я бы очень оценил вашу помощь!

1 Ответ

0 голосов
/ 03 января 2019

Вот пошаговый пример на основе предоставленных вами образцов данных: 

# Sample data
library(data.table)
setDT(set_A)
setDT(set_B)    

# Create time column by which to do a rolling join
set_A[, time := time_a]
set_B[, time := time_b]
setkey(set_A, time)
setkey(set_B, time)

# Rolling join by nearest time
set_merged <- set_B[set_A, roll = "nearest"]

unique(set_merged[order(ID_b)], by = "time")
#    ID_b   b1     b2     source   time_b     time ID_a    a1     a2       a3
# 1:    2 34.2 15.114 set1.csv.1 20.35750 20.01000    8 85640 5274.1 301.6041
# 2:    7 67.2 16.114 set1.csv.2 21.35778 21.00972    7 85697 5345.2 301.6043
# 3:   12 12.2 33.114 set1.csv.3 22.35806 22.00972    4 65694 9375.2 301.6049
# 4:   17 73.2 67.114 set2.csv.1 23.35833 23.00972    3 85694 9278.9 301.6051
# 5:   23 88.2 42.114 set2.csv.2 19.35861 19.00972    5 85653 4375.5 301.6047
# 6:   28 90.2 52.114 set3.csv.1  0.35889  0.00944    2 35694 5245.2 301.6053
#      time_a
# 1: 20.01000
# 2: 21.00972
# 3: 22.00972
# 4: 23.00972
# 5: 19.00972
# 6:  0.00944

Два комментария:

  1. Мы создаем новый столбец time дляне теряйте один из исходных столбцов времени из set_A и set_B.При необходимости вы всегда можете удалить столбец time после объединения.
  2. Мы используем unique для удаления дублированных time строк в порядке ID_b.Вы упоминаете в своем посте, что "на самом деле не имеет значения, какая строка будет объединена" , но в случае, если вы хотите сохранить определенные строки, вам может потребоваться настроить эту строкукода.

Обновление (спасибо @Henrik)

Как отметил @Henrik, то, что вы ищете, на самом деле является скользящим соединением set_A в отношениив set_B, в этом случае вам не нужно иметь дело с дублирующимися строками.

Это переводит в 

library(data.table)
setDT(set_A)
setDT(set_B)    

# Create time column by which to do a rolling join
set_A[, time := time_a]
set_B[, time := time_b]

set_A[set_B, on = "time", roll = "nearest"][order(ID_a)]
#   ID_a    a1     a2       a3   time_a     time ID_b   b1     b2     source
#1:    2 35694 5245.2 301.6053  0.00944  0.35889   28 90.2 52.114 set3.csv.1
#2:    3 85694 9278.9 301.6051 23.00972 23.35833   17 73.2 67.114 set2.csv.1
#3:    5 85653 4375.5 301.6047 19.00972 19.35861   23 88.2 42.114 set2.csv.2
#4:    6 12694 5236.3 301.6045 22.00972 22.35806   12 12.2 33.114 set1.csv.3
#5:    7 85697 5345.2 301.6043 21.00972 21.35778    7 67.2 16.114 set1.csv.2
#6:    9 30694 5279.0 301.6039 20.01000 20.35750    2 34.2 15.114 set1.csv.1
#  time_b
#1:  0.35889
#2: 23.35833
#3: 19.35861
#4: 22.35806
#5: 21.35778
#6: 20.35750

Пример данных 

set_A <- read.table(text =
    "ID_a    a1  a2  a3  time_a
2   35694   5245.2  301.6053    00.00944
3   85694   9278.9  301.6051    23.00972
4   65694   9375.2  301.6049    22.00972
5   85653   4375.5  301.6047    19.00972
6   12694   5236.3  301.6045    22.00972
7   85697   5345.2  301.6043    21.00972
8   85640   5274.1  301.6041    20.01000
9   30694   5279.0  301.6039    20.01000", header = T)

set_B <- read.table(text =
    "ID_b    b1  b2  source  time_b
2   34.20   15.114  set1.csv.1  20.35750
7   67.20   16.114  set1.csv.2  21.35778
12  12.20   33.114  set1.csv.3  22.35806
17  73.20   67.114  set2.csv.1  23.35833
23  88.20   42.114  set2.csv.2  19.35861
28  90.20   52.114  set3.csv.1  00.35889", header = T)
...