Как разделить AWS CloudWatch Log потоки?

Question

Существует группа AWS CloudWatch Logs, внутри которой есть несколько потоков. Насколько я понимаю, каждый поток - это журнал, поступающий с отдельного сервера или контейнера. CloudWatch Журналы потоков

Я поместил всю группу журналов в Kinesis Firehose, чтобы доставить их в S3 Bucket. Но внутри Kinesis Firehose все бревна объединены в один. Как я могу получить эти журналы в хранилище S3, чтобы каждый поток имел свой собственный каталог?

Answer 1

Я нашел решение: 1) Я модифицировал каждый журнал в Kinesis Firehose, используя функцию Lambda. Я добавил идентификатор в конец строки журнала. И тогда это выглядит так: Модифицированные журналы

2) Я создал функцию Lambda с триггером, который работает каждый раз, когда журналы записываются в корзину s3. И в этой функции я распределяю журналы по папкам, которые мне нужны, основываясь на информации, которую я добавил в журналы ранее. Я не буду давать код этой лямбда-функции. Я описал общий подход и думаю, что те, кто в нем нуждается, могут понять его.