Как хранить потоковые данные из Amazon Kinesis Data Firehose в корзину s3

Question

Я хочу улучшить свое текущее приложение. Я использую Redis с ElastiCache в AWS для хранения некоторых пользовательских данных с моего сайта.

Это решение не масштабируется, и я хочу масштабировать его, используя Amazon Kinesis Data Firehose для автоматического масштабирования потокового вывода, AWS Lambda, чтобы изменить мои входные данные, сохранить их в корзине S3 и получить к ним доступ с помощью AWS Афина.

Я гуглю уже несколько дней, но я действительно не знаю, как Amazon Kinesis Data Firehose хранит данные в S3.

Будет ли Firehose хранить данные в одном файле для каждого процесса, который он будет обрабатывать, или есть способ добавить эти данные в один и тот же CSV или сгруппировать данные в разные CSV?

Answer 1

Amazon Kinesis Data Firehose сгруппирует данные в файл на основе:

• Размер данных (например, 5 МБ)
• Продолжительность (например, каждые 5 минут)

В зависимости от того, кто превысит лимит первым, хранилище данных будет запущено в Amazon S3.

Поэтому, если вам нужны отчеты почти в реальном времени, go на короткий срок. В противном случае, go для больших файлов.

Как только файл записан в Amazon S3, он становится неизменным , и Kinesis не будет изменять его содержимое. (Нет добавления или изменения объектов.)