Я планирую проект, и у меня нет большого опыта работы с большими данными, и я хотел получить обратную связь.Допустим, мое приложение отслеживало такие вещи в автомобиле, как пробег миль и средняя скорость.Каждую милю он публиковал эти данные в виде объекта JSON на каком-либо сервере.Есть правила, которые слабо определены и могут изменяться, но некоторые вещи, которые я хотел бы знать, это то, сколько миль человек проехал за последние X дней, когда пользователь пробежал Y миль с момента последнего обслуживания или какова была его средняя скорость.за последние Z миль.Я хотел бы отправить пользователю предупреждение с уведомлением о его вехах.
Я думал об использовании Kinesis Firehose для передачи данных в S3 в исходном состоянии.Затем я использовал бы Glue для преобразования данных в нечто, что я мог бы поместить в RDS, а затем выполнить запрос с использованием правил.
Другая моя мысль заключалась в том, чтобы использовать Kinesis Firehose, чтобы перевести данные в S3 в исходное состояние, а затем выполнить наагрегация мух с использованием Kinesis Data Analytics, а затем отправка обратно в Kinesis для передачи в RDS.
Любой вклад приветствуется.