Я использовал потребитель на основе искры для чтения данных из потока Kinesis, который работал нормально. Недавно мы увеличили количество осколков, из-за которых потребитель потерпел неудачу в течение нескольких часов. Теперь у нас в kinesis установлено время хранения данных, которое поможет сохранить данные еще несколько часов.
Я попытался использовать искровой потребитель с TRIM_HORIZON, но он не работает должным образом и не работает после запуска в течение 30-40 минут.
Я использую опцию пожарного шланга для удаления старых данных из кинезиса, но, по-видимому, по умолчанию пожарный шланг извлекает только последние данные.
После изучения я обнаружил, что функции Lambda можно применять с TRIM_HORIZON и Firehose, но я не могу найти больше.
Я ищу некоторую помощь / опции, чтобы использовать Firehose для чтения старых данных.