У нас есть централизованная инфраструктура журналирования, собирающая журналы из Cloudwatch через подписки через Kinesis + Lambda на ELK.
Некоторые сообщения журнала становятся достаточно большими, и мы видели, как некоторые из них заканчиваются в двух операторах журнала в ELK , После небольшого исследования я обнаружил, что хотя CloudwatchLogEvents, которые получает наша Lambda, в то время как они все еще находятся в одном месте в облачном хранилище в консоли AWS, фактически разделены на два события. Первое событие всегда имеет полезную нагрузку примерно 64 КБ. Однако в их документации AWS указывается ограничение в 256 КБ на событие журнала.
Это приводит к двум вопросам.
Почему журналы разделены на ~ 65 КБ? Какая служба отвечает за это?
Есть ли способ сопоставить два события или получить весь объект журнала? Желательно без необходимости использовать API-интерфейс Cloudwatch для запросов ...