У нас есть регистратор трафика, использующий API Gateway и Lambda.Лямбда записывает заголовки посещений в Kinesis, который затем имеет пожарный шланг kinesis для записи в S3.
Изначально бизнес предполагал всевозможные варианты использования в реальном времени, но этого не произошло, и теперь они оптимизируют расходы.
Я узнал, что ALB намного дешевле для нашего варианта использования.Мы также могли бы расстаться с кинезисом и написать прямо на S3.
Однако в AWS есть бесконечные способы записи в s3.Если я пишу в s3 напрямую из лямбды, мне нужно буферизировать сообщения, чтобы быть эффективными, а затем знать, когда нужно как-то повернуть файл.Я также не знаю, сколько экземпляров лямбды действительно запускается и сколько запросов направляется на одну и ту же машину.Кажется, трудно рассуждать о.Поток получает несколько сотен обращений в секунду.
Я также мог бы записать в SQS, динамо, SNS, а затем сделать их дамп в s3, или, возможно, просто запустить MQ на EC2, который производит и вращает один поток,
Кто-нибудь знает экономически эффективный способ производства чего-то похожего на то, что производит Kinesis Firehose без излишней сложности?