Как эффективно извлекать огромные данные из DynamoDB? - PullRequest
0 голосов
/ 17 декабря 2018

Мы разрабатываем приложение IOT, в котором мы получаем нестандартные геологические данные маршрута от устройства IOT каждую минуту и ​​сохраняем их в DynamoDB размером 500-600 байт.

Теперь мы хотим показатьотчет по каждому устройству, включая данные за каждую минуту или каждые 15 минут за последние 7 дней.

Чего мы хотим достичь:

Поскольку мы хотим показать все geological точек на карте, мы хотим разработать единый API, который возвращает данные за 7 дней для данного устройства.

Проблема:

У нас около 6 МБ (600 байтов * 10080 минут за 7 дней) данных для одного устройства и DynamoDB запрос возвращает только 1MB данных в одном запросе, мы пробовали разбиение на страницы в запросе DynamoDB, который принимает 6 запросов для сбора всех данных, которые занимают много времени, а API получает тайм-аут.

1 Ответ

0 голосов
/ 18 декабря 2018

Поскольку у вас есть только одна подготовленная единица чтения, вы можете читать только 8 КБ / с из таблицы.Попробуйте переключиться на выставление счетов по требованию или увеличить RCU.

...