Работа AWS Glue ETL запущена на партиях событий S3

Question

У меня есть корзина S3, в которую сбрасывается много файлов (1000 записей / мин).Я хочу запустить задание Glue ETL для пакетов этих удаленных файлов.

Я рассмотрел использование Firehose для агрегирования пакетов событий, но для этого требуется много связанных ресурсов.Как S3 -> Lambda -> Firehose -> ...

Каков наилучший способ обработки моих данных в пакетах?

Answer 1

Вы можете использовать AWS Glue Job Triggers, которые позволят вам запускать работу склеивания через запланированные интервалы, а не как триггер события S3?

Обрабатываете ли вы потоковые данные?Не вижу варианта использования / цели для Firehose с вашей ограниченной информацией.