Kinesis для группировки заданий из потоков DynamoDB в хранилище данных

Question

Disclamer : я никогда не использовал Kinesis.

Контекст: мы разрабатываем сервис, который каждую минуту выбирает данные из таблицы DynamoDB 4.1M Items, мы выполняем группировку на основе одного атрибута Items и записываем его в хранилище данных (доступное только из EC2, а не из Lambda). Мы планируем выполнить каждую работу за <1 м </strong>, в идеале 15 секунд. Элемент в DDB может получать обновления одного из его атрибутов в любое время (т. Е. Переопределение элемента в таблице DDB). В работе по группировке должна использоваться только самая последняя версия элемента.

Это базовая c схема архитектуры:

Предположим, что DDB обеспечен правильным RCU, мои вопросы:

1. Есть ли хороший пример использования Kinesis? Есть ли какие-либо проблемы дизайна мэра в этом решении для нашего варианта использования?
2. Как я могу гарантировать, что только последняя версия элемента DDB (которая обновляется со временем) используется для задания группировки?

Answer 1

Если вы выполняете подобные операции каждый раз, когда выбираете эти строки, вы, вероятно, захотите использовать потоки и выполнить агрегирование, как показано здесь , в результате чего вы используете потоки для обработки данных и затем помещаете результаты в интервалы времени, скажем, 10 минут.

Затем вы можете выполнить инкрементальное агрегирование, а затем go до часа, дня, года и т. д. 1017 * и иметь точность ~ 10 минут, если это ваше наименьшее значение. блок, и результаты будут жить, в том смысле, что они доступны все в режиме реального времени. Вы должны сэкономить большие большие деньги на единицах емкости и обработке дубликатов, если таковые имеются.

Чтобы конкретно ответить на ваши вопросы:

1. DynamoDB Streams использует Kenesis под капотом, я бы сказал, итак.
2. У вас есть разные события для использования, обновления, удаления, создания, так что вы бы подписались на все интересующие вас события. Порядок также сохраняется .