Кэширование блестящей панели инструментов, которая читает ежедневно обновляемый набор данных из S3? - PullRequest
Новая
       11

Кэширование блестящей панели инструментов, которая читает ежедневно обновляемый набор данных из S3?

1 голос
/ 16 апреля 2019

У меня есть блестящая панель инструментов, которая выполняет группирование и ggplot2s из набора данных, который обновляется каждый день.

Я исследую несколько вариантов кэширования:

https://github.com/r-lib/memoise

http://shiny.rstudio -staging.com / статьи / сюжетно-caching.html

Однако эти функции служат, если выход остается постоянным. Что если каждый день я добавляю несколько строк в набор данных. Есть ли способ воспользоваться кешированием? Можно ли обновить кэш только для добавления новых строк данных?

Подобные вопросы были заданы здесь:

кэширование участков в R / Shiny

Блестящее приложение - Использование Memoise для кэширования значений R

Пример: * * тысяча двадцать-пять 

Fetching the data every day. This script runs every day and gets new data.
con <- dbConnect(drv = dbDriver(""), 
                 dbname = "db",
                 host = "connection",
                 user = "user",
                 password = "password")
query1 <- dbGetQuery(con,"query1")
query2 <- dbGetQuery(con,"query2")
Maybe a group-by or a join or summarization anything
...
...
...
Finally your have your final dataset.
final <- rbind(query1, query2)
s3saveRDS(x = final, 
      object = paste0("data", ".rds"),
      bucket = "bucketname")

В своем блестящем приложении вы используете его: 

final <- s3readRDS(object = "data.rds",
                 bucket = "bucketname")

Как извлечь выгоду из кэширования, если в моих данных появляются новые строки каждый день?

...