Наш текущий процесс - чтение файла avro, обработка его через EMR и создание выходных файлов партера с разделением по дате на s3.Мы используем Tableu с Athena для целей отчетности.Данные о 250K в день.
Несколько требований, которые предъявляют наши пользователи, - сравнивать неделя за неделей, месяц за месяцем, квартал за квартал, год за годом.
Текущая архитектура не масштабируется для работы за кварталСравнение квартал / год за годом или выполнение запросов занимает очень много времени.Есть ли какие-либо рекомендации по реализации для этого типа требований в AWS?Цените ваш немедленный ответ.