Вы можете установить один контейнер s3 в качестве концентратора данных на aws и настроить общий доступ к файлам nfs для этого контейнера через шлюз хранилища. Локально настраивайте подпапки для каждого источника данных / места назначения в этом общем ресурсе NFS.
Пусть серверы / процессы пишут в свои собственные папки. Теперь все эти папки будут скопированы в одну корзину s3
имеет лямбда-функцию в корзине s3, которая будет реплицировать (синхронизация aws-cli s3) каждую из папок в соответствующие целевые корзины s3.
этот подход будет обрабатывать трафик для всех ваших серверов с помощью одной общей корзины. Шлюз хранилища поддерживает только 10 общих файловых ресурсов / 10 пакетов в каждом экземпляре шлюза. Выше подход позволяет вам выйти за этот предел.
Всего наилучшего.