dplyr :: добавить к удаленному источнику postgresql, если uid нет - PullRequest
Новая
       20

dplyr :: добавить к удаленному источнику postgresql, если uid нет

0 голосов
/ 03 сентября 2018

Если я что-то упустил, в документации нет ссылок на то, как на практике использовать такие функции, как db_write_table. Единственная ссылка в документации на пакет:. 

db_write_table(con, table, types, values, temporary = FALSE, ...)

types не объясняется. Кажется, что ни одна из функций удаленного подключения dplyr нигде не описана во всех подробностях, например dplyr.tidyverse.org .

У меня есть база данных mydb с таблицей mydata Я могу подключиться 

require(RPostgreSQL)
require(dplyr)

drv <- dbDriver("PostgreSQL")
sapply(dbListConnections(drv), dbDisconnect)
con <- dbConnect(drv, dbname = "mydb", host = "localhost", port = 5432, user = "username")
data_db = tbl(con, 'mydata')

Удаленные данные tbl data_db содержат поля, одно из которых называется uid. У меня есть data_frame dat с наблюдениями, которые мне нужно добавить к mydata, если их dat$uid значений еще нет.

Это что-то, что можно сделать с db_write_table, или для этого требуется подход SQL?

Ответы [ 2 ]

0 голосов
/ 03 сентября 2018

Итак, что это стоит, так это моя реализация, которая должна работать лучше для моего случая (small добавляется в большую базу данных): 

db_add_unmatched = function(con, remote, dat, uid, append = TRUE, row.names = FALSE){
  tbl_remote = tbl(con, remote)
  dat_matched = select(tbl_remote, uid) %>% filter(uid %in% dat[[uid]]) %>% collect
  if(nrow(dat_matched) == 0){
    dat_unmatched = dat
  } else dat_unmatched = anti_join(dat, dat_matched, by = uid)
  if(nrow(dat_unmatched) > 0){
    DBI::dbWriteTable(con, remote, dat_unmatched, append = append, row.names = row.names)
  } else message('No unmatched rows to add')
}

db_add_unmatched(con, 'mydata', dat, 'uid')
0 голосов
/ 03 сентября 2018

За комментарий @ hadley к этому ответу , вы можете использовать dbWriteTable(append = TRUE). Вот пример с SQLite: 

library(dplyr)

# Create some example data
con <- DBI::dbConnect(RSQLite::SQLite(), path = ":dbname:")
dd <- data.frame(uid = 1:20, value = LETTERS[1:20])
dat <- data.frame(uid = 15:26, value = LETTERS[15:26])
copy_to(con, dd, "my_data",
  temporary = FALSE, 
  indexes = list("uid", "value")
)

# Identify rows to append
dd_db <- tbl(con, "my_data")
dd_uid <- select(dd_db, uid) %>%
  collect() %>%
  unlist()
dat_to_append <- filter(dat, !(uid %in% dd_uid))

DBI::dbWriteTable(con, "my_data", dat_to_append, append = TRUE)
...