Перемещение данных из sqs в s3 - PullRequest
Новая
       38

Перемещение данных из sqs в s3

0 голосов
/ 22 сентября 2019

У меня есть очередь в SQS, в которую помещается много уведомлений с данными (более 9 миллионов уведомлений в день)

Я хотел бы знать, есть ли способ создания объектов s3 из сообщений вsqs до s3 (путь упоминается в атрибуте сообщения)

Я предпочитаю иметь готовое решение без кодирования.Если такого решения не существует, вы бы порекомендовали использовать лямбда-функцию для этого вместо процесса (код запускается в ec2)

Спасибо,

1 Ответ

0 голосов
/ 22 сентября 2019

Я нашел официальный документ , описывающий что-то похожее на то, чего вы хотите достичь - это больше рекомендуется, если у вас большие / большие сообщения.На сегодняшний день функция доступна только в Java SDK.Пример: 

/*
 * Set the Amazon SQS extended client configuration with large payload
 * support enabled.
 */
final ExtendedClientConfiguration extendedClientConfig =
            new ExtendedClientConfiguration()
                    .withLargePayloadSupportEnabled(s3, S3_BUCKET_NAME);

final AmazonSQS sqsExtended =
            new AmazonSQSExtendedClient(AmazonSQSClientBuilder
                    .defaultClient(), extendedClientConfig);

Пример ссылки: https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/working-java-example-using-s3-for-large-sqs-messages.html

...