я должен делать много меньших запросов, или меньше, но больше запросов, используя s3 для передачи данных

Question

Я работаю над проектом, который требует, чтобы записи данных были вставлены в экземпляр RDS.Для этого мы используем стек без сервера (cognito, api gateway, lambda, rds).Наше приложение требует считывания большого объема данных со встроенного устройства перед вставкой.Эти данные должны быть вставлены немедленно.

Исходя из нашей текущей настройки, размер одной партии данных может превышать 60 КБ, но это наихудший сценарий.

Существует ли принятая лучшая практика или идеальный способ отправки / доступа к этим данным в таком большом количестве в моей лямбда-функции?На данный момент я планирую отправить его с моим запросом API.Я видел, что s3 упоминается как посредник для больших объемов данных, но я не уверен, действительно ли это необходимо для чего-то подобного.

Answer 1

По моему опыту это зависит от ряда факторов. Какое общение вы используете? Какова скорость выпадения? вы испытываете испорченные пакеты? Какое у вас встроенное устройство?

Если вы можете отправить данные за один раз с вероятностью успеха 97%, то я не вижу причин для разделения данных. Если пакеты занимают много времени, и соединения могут разорваться, тогда хорошо отправлять несколько пакетов и повторно отправлять ошибочные.

Для сети 60КБ это небольшой объем данных. Если у вас медленное встраиваемое устройство 2G, то это ваше узкое место, и вам нужно понять, как наиболее эффективно извлечь из него данные. Один поток данных, вероятно, будет наиболее эффективным.