Честно говоря, требование бизнес-команды, недавно добавленные данные должны перемещаться в s3 .. а s3 иметь историю записей. посмотрел ниже варианты
- Посмотрел на Lambda и не смог найти триггера события для красного смещения.
- Kinesis Firehose - нет источника для настройки красного смещения.
Пожалуйста, предложите лучший способ перемещения данных.
мы добавили новый столбец - is_processed - new данные, помеченные как '1', иначе 0. Из лямбда мы фильтруем на основе is_processed = 1 и выбранные данные перемещаются в S3 .. Но проблема не в триггере СОБЫТИЯ для Redshift. Мы запланировали конкретное время задания и перемещаем данные в s3 ..
Примечание: используя Lambda (команда выгрузки), я переместил данные красного смещения в s3 (снимок) на основе данных.