Позвоните в Kinesis Firehose против Kinesis Stream прямо из Lambda

Question

У меня есть потребность, где я хотел отправить некоторые данные в S3 из лямбды. Данные, поступающие в Lambda, поступают из потоков Dynamodb. Поскольку для отправки в сегмент S3 лучше использовать Firehose, поскольку он объединяет и буферизует данные перед передачей в S3, а также обеспечивает стратегию повторных попыток. Итак, я использую Firehose вместо прямого нажатия на S3.

Но я наблюдаю, как многие люди передают данные из Lambda в Kinesis Stream, из которого они передаются в Kinesis Firehose, вместо прямой передачи в Firehose из AWS Lambda. Есть ли причина делать это таким образом? Какие-нибудь преимущества? Каковы недостатки прямого доступа к пожарному шлангу Kinesis?

Answer 1

Если Amazon Kinesis Data Firehose соответствует вашим потребностям, то обязательно используйте его! Он берет на себя большую часть работы за вас, по сравнению с обычными потоками Kinesis.

Единственный раз, когда вы не используете Firehose , это единственный случай, когда у вас другое назначение (например, вы хотите обработать данные в инстансах Amazon EC2) или вам нужен больший контроль над потоки и осколки (например, для обработки определенных производителей на определенных осколках для сохранения порядка на основе осколков).