Как QuickSight SPICE обновляет данные - PullRequest
Новая
       25

Как QuickSight SPICE обновляет данные

0 голосов
/ 05 ноября 2019

У меня есть приборная панель Quick Sight, направленная на стол Афины. Теперь я хочу запланировать обновление SPICE каждый час. Согласно документации, «Обновление» снова импортирует данные в SPICE, поэтому данные включают любые изменения с момента последнего импорта.

Если у меня есть набор данных объемом 2 ТБ в Афине и каждый час добавляются новые данные в Афине. Так QuickSight будет загружать 2 ТБ каждый час, чтобы найти дельту? если да, это увеличит стоимость Афины. QuickSight запрашивает Athena для получения данных?

1 Ответ

1 голос
/ 11 ноября 2019

На дату ответа (11/11/2019) SPICE действительно фактически выполняет полную перезагрузку набора данных (т. Е. Без дельта-вычисления или инкрементного обновления). Я смог проверить это, используя набор данных MySQL и просматривая журнал запросов во время обновления.

Вывод для вашего вопроса заключается в том, что с Афины вам каждый час будет взиматься плата за запрос набора данных 2 ТБ.

Если вам не нужны надежные запросы, которые предоставляет Athena, я бы рекомендовал направить QuickSight на данные S3 напрямую.

...