Kinesis FireHose против потока данных Kinesis теряет данные - PullRequest
0 голосов
/ 16 ноября 2018

Я усердно тренируюсь, чтобы сдать один из специализированных экзаменов в AWS, а затем, следуя нескольким блогам, я увидел несколько концепций, которые сводят меня с ума в отношении вариантов использования потоков Kinesis FH и Kinesis Data. Я пришел к вам, чтобы очистить свой разум при поддержке сообщества.

Kinesis DS: высокая доступность слушателя (большая буферная очередь) с функциональными возможностями, а также производитель KPL и потребительский KCL. Что очень здорово в этом сервисе, так это то, что он слушает все время, и при этом нет таких близких перерывов в прослушивании, тогда как буфер очищен.

Kinesis FH: это больше походит на своего рода потребителя и ловит все, что приходит от DS с определенным периодом времени или размера. Тем не менее, я могу загружать полезные нагрузки непосредственно в пожарный рукав, и тогда это будет потребляться из другого сервиса, кроме только DS. Для продолжения потребления и обработки требуется период сброса.

В этих службах так много свойств, которые я знаю, но затем я указываю на те, которые очень привлекают мое внимание. Таким образом, многие вопросы основаны на том факте, что Kinesis FH может потреблять полезную нагрузку, отправляемую из настраиваемого процесса. Однако, с моей точки зрения, этот подход не очень хорошая идея, потому что тот факт, что FH тратит время на очистку своего буфера, заставляет меня поверить, что, возможно, я могу потерять данные, если попытаюсь принять данные, в то время как служба, например, очищает этот буфер каждые 5 минут. , Вместо этого я могу использовать службу DS с высоким уровнем прослушивания, а затем использовать FH, например.

Итак, я хотел бы знать, верно ли мое предположение или нет, тогда как FH сбрасывает буфер, продолжая также получать полезные данные в буфере независимо от того, какой буфер сбрасывается. Да, я обратился к документации, но это очень обширно, и я, возможно, мог бы получить ответ быстрее здесь, чтобы продвинуться вперед в моем плане обучения. спасибо

...