Мы хотели бы провести некоторую аналитику в наших журналах в Cloudwatch в Elasticsearch (потому что это намного быстрее), поэтому нам нужно передавать новые данные напрямую из CW в S3 / Elasticsearch (с Lambda и подпиской на требуемую Loggroup) И мыТакже необходимо проверить исторические данные.
Для исторических данных мне удалось экспортировать данные из Cloudwatch в S3. К сожалению, они распакованы .json файлы. Но теперь они присутствуют в S3.
Итак, теперь у меня есть сотни тысяч файлов .gz в S3. Как я могу экспортировать эти файлы в Elasticsearch сейчас? Нужна ли мне служба миграции баз данных AWS?
Если это так, https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.S3.html говорит, что файлы должны быть .csv. Это правда? Действительно ли мне нужно преобразовать все эти zppied .json в .csv, а затем использовать СУБД AWS для их переноса в Elasticsearch? И если да, то каков наилучший способ сделать это?
Или есть какой-либо другой способ или услуга (aws) для анализа исторических данных журнала из Cloudwatch или для помещения их в другую более быструю базу данных (aws))?
Заранее спасибо!