Примеры использования AWS KCL - PullRequest
0 голосов
/ 31 мая 2019

Я хочу использовать KCL для чтения данных из моего потока Kinesis и отправки пакетных записей (например, данных окна за 1 минуту) на S3 в пакетном режиме. Однако мне интересно, возможно ли это с потребителем KCL.

  • запись пакетной обработки (аналогично пакетной обработке с искровым потоком)
  • запись обогащения

Кроме того, как будет вести себя KCL при масштабировании потребителя в группе автоматического масштабирования? например, если мой метод обработки записей записывает файл в корзину s3 в режиме масштабирования, будет ли он объединять записи и записывать один файл в корзину s3, или каждый работник будет записывать несколько файлов в KCL?

Ценю ваш вклад.

...