Повторите S3 операции чтения / записи в R - PullRequest
1 голос
/ 15 апреля 2019

Я написал блестящее приложение, которое по сути является интерфейсом для данных, хранящихся на S3.Во время работы приложения происходит много чтения и записи данных в корзину S3, и большую часть времени это работает безупречно.Однако иногда случается, что время операции чтения или записи заканчивается, и в результате приложение прерывается.

В других ситуациях, когда я полагаюсь на данные из API, использующих пакет HTTR, я использую функцию RETRY пакета, которая позволяет мне повторять вызов GET / POST указанное количество раз, например:

RETRY("GET", "http://httpbin.org/status/500", times = 5)

# Request failed [500]. Retrying in 1 seconds...
# Request failed [500]. Retrying in 3 seconds...
# Request failed [500]. Retrying in 1 seconds...
# Request failed [500]. Retrying in 15.5 seconds...
# Response [http://httpbin.org/status/500]
#  Date: 2019-04-15 19:14
#  Status: 500
#  Content-Type: text/html; charset=utf-8
#<EMPTY BODY>

У меня вопрос, могу ли я сделать что-то подобное с моим подключением к S3?

Мои операции чтения в основном выглядят примерно так:

object <- aws.s3::save_object(s3_file_path, bucket, file = local_file_path, overwrite = TRUE)
data <- readRDS(local_file_path)

И моя записьоперации, подобные этой:

file_name <- "test.txt"
aws.s3::put_object(local_file_path, object = file_name, bucket)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...