Проблема производительности таблиц при подключении через Athena - PullRequest
Новая
       14

Проблема производительности таблиц при подключении через Athena

0 голосов
/ 02 марта 2020

Ранее мы выбрали безсерверную архитектуру, и наша задача заключалась в том, чтобы сохранить данные в S3, выполнить запрос с использованием таблицы Athena и соединить сервер Tableau с таблицей Athena для отображения панели данных. Основной запрос сканирует 90 ГБ данных, и это занимает почти 6 минут. Табло приборной панели занимает 4 минуты, чтобы загрузить. Текущая архитектура
SQS-> S3 -> Athena -> Tableau
Пример запроса 

SELECT Row_number() over() AS ROW,
               column1           AS "column1", 
               column2     AS "column2 ", 
               --


    column20    as "column20              
 FROM   table
having From_unixtime(time) >= (current_date  - interval '60' day)
        ORDER  BY TIME ASC

В настоящее время объем данных растет, теперь мы думаем о ре-архитектуре решение. Кто-нибудь может предложить лучшую рекомендацию для хранения данных и повышения производительности Tableau Dashboard?

...