У нас есть Kinesis Firehose, слушающий Kinesis Stream. В Kinesis Stream определены 5 осколков. Мы указали пункт назначения Kinesis Firehose как AWS S3. Теперь мы наблюдаем, что Firehose создает отдельные файлы в S3 для каждой из записей в разных папках по структуре даты. Например. / Год / месяц / день / час / файл
Несколько вопросов по этому вопросу:
- Можно ли как-нибудь объединить все в один файл S3 каждый час или ежедневно?
- Почему создается отдельный файл S3 для каждой записи в S3, даже если они являются частью одного и того же буфера в Firehose?
- Что касается консолидации, если 1-й вариант невозможен, что может предложить кто-то? Мне нужно написать какую-нибудь лямбду или что-то, что объединяет все события из S3 и работает ежедневно (скажем)?