Хотя вопрос очень общий и ограниченный, он не указан, поэтому может быть несколько решений. Но, на мой взгляд, следующий подход может быть хорошим подходом.
- Экспорт журналов Cloudwatch в S3
- Копирование журналов из S3 в Redshift с помощью команды Копировать
Вот некоторая базовая информация о Шаге 1.
Этот шаг можно выполнить одним из следующих способов.
- Потоковые журналы напрямую на S3 с использованием фильтров подписки CloudWatch Logs
- Используйте запланированное событие CloudWatch, чтобы запланировать лямбда-функцию для запуска экспорта журнала в S3. Мало документации, которая могла бы помочь.
http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/SubscriptionFilters.html
https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3Export.html
https://source.sh/blog/2015/06/06/automatically-exporting-cloudwatch-logs-to-s3-with-kinesis-and-lambda/
Вот некоторая основная информация о Шаге 2
Существует хорошая документация по командам копирования, ссылка ниже. Вы можете использовать любые языки / библиотеки на ваш выбор, python / shell-script, java, boto3 и т. Д., Чтобы оправдать copy sql command.
https://docs.aws.amazon.com/redshift/latest/dg/t_Loading-data-from-S3.html