Динамо Stream Lambda - Только читать новые записи каждую минуту - PullRequest
0 голосов
/ 05 марта 2019

Я пытаюсь собрать новые записи из Динамо, моя лямбда работала слишком быстро и слишком быстро запускала записи в Динамо, мое приложение получает только 5 записей в секунду.

Я пытаюсь создать читатель для потока, который будет вызываться каждую минуту, чтобы свернуть статистику.

Я прошел процесс ListStreams для имени таблицы DescribeStream GetShardIterator для каждого шарда с использованием TRIM_HORIZON GetRecords Затем рекурсивно обрабатывайте NextShardIterator до тех пор, пока он не вернет ноль, теперь я ограничился 5 рекурсиями, поскольку, похоже, он не заканчивается

Каждый раз, когда я запускаю это, я получаю 16 записей, что не совсем то, что я хочу, я хочу только записи, которые я не обработал.

Нужно ли использовать какую-либо форму персистентности для хранения максимального числа последовательностей, которое я обработал?

...