Нужно ли использовать потоки данных Kinesis (если я использую Firehose) для потоковой передачи данных в паркет? - PullRequest
0 голосов
/ 31 декабря 2018

Рассмотрим архитектуру ниже (источник здесь ): Зачем нам нужны Потоки данных Kinesis ?Если данные проходят через Пожарная линия данных Kinesis , нужно ли мне до беспокоиться об фрагментах потока данных Kinesis, их масштабировании и т. Д.?

Цель : Я надеюсь выгрузить данные на S3 в паркет с их каталогом Glue из набора производителей (например, потоков CDC и вызовов API).Я надеялся, что Kinesis (Firehose) справится с автоматическим масштабированием и т. Д., Но я понимаю, что в случае потоков данных Kinesis это было бы не так.

enter image description here

...