У нас есть приложение, которое принимает 10 000 запросов в секунду, помещает их в S3 и затем обрабатывает их.
В настоящее время мы используем Kafka, но мы хотели бы заменить его на Firehose по разным причинам (обслуживание, стоимость и т. Д.).Я настроил API-шлюз с Firehose, и без какого-либо кодирования я смог сохранить свои запросы в S3 в файлах паркета.
Теперь идет оценка стоимости.От Amazon пример 500 записей в секунду обойдется в 216 $ / месяц.Размер записи округляется до 5Кб.В нашем случае 10 000 запросов в секунду будет стоить в 20 раз больше.Поэтому имеет смысл объединить несколько записей в одну.Я не нашел пример того, как это легко сделать.Я не хочу реализовывать это приложение самостоятельно, потому что есть много крайних случаев, которыми нужно управлять.И для меня это довольно распространенный случай, который уже должен быть реализован.
Существует ли стандартный способ (сервис AWS, проект github и т. Д.), Который можно использовать для упаковки записей?
Или есть лучшее решение моей проблемы?