Должен ли я использовать представления Athena для объединения в Quicksight или в Quicksight?

Question

У меня есть куча таблиц Athena, сгенерированных из данных, которые я постоянно перекачиваю в S3, и я хотел бы использовать эти данные с QuickSight. У меня есть некоторый успех, но для некоторых данных я получаю тайм-ауты при обновлении QS. Мне лучше делать представления в Афине, чтобы выполнять все объединения и т. Д., А затем перетаскивать их в QS для составления отчетов, или мне следует вбивать базовые таблицы в QS и выполнять там объединения и другие операции с данными?

Answer 1

Представления Афины не являются материализованными представлениями, поэтому они не так полезны для вас.

https://docs.aws.amazon.com/athena/latest/ug/when-to-use-views.html

Вместо этого я предлагаю преобразовать ваши данные с помощью задания AWS Glue перед загрузкой в ​​QS. Вы можете рассмотреть также разделение или сжатие ваших исходных данных. Я также часто использую формат паркета с мгновенным сжатием.

https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/