Межрегиональная репликация в стиле Pull для сегментов S3

Question

Мне нужно вытащить данные, опубликованные в корзину S3 другой организацией (следовательно, другой учетной записью AWS) в другом регионе, для последующей обработки с помощью Lambda. У меня есть доступ для чтения, но я не могу попросить их настроить репликацию в мои корзины.

Амазонская межрегиональная репликация выглядит так, как будто она предназначена для отправки данных из источника, и я даже не уверен, что в исходной организации включено управление версиями.

Есть ли способ получить данных? Мне нужно только в одну сторону; Мне нужно обработать эти данные вскоре (в течение 10 минут или около того) после того, как они поступят в исходную корзину S3.

Answer 1

Вы можете запустить aws s3 sync по расписанию, как каждые 10 минут. Если вы хотите запустить его в функции AWS Lambda, похоже, что В средах NodeJS и Python Lambda предварительно установлен инструмент CLI AWS. Я бы предложил написать короткую лямбда-функцию Python, которая вызывает интерфейс командной строки AWS, необходимый для запуска команды s3 sync, и назначает запуск этой лямбда-функции каждые 10 минут.