Я работаю с системой, которая генерирует ответ в формате n-арного дерева для каждого отправленного ему запроса. Ответ находится в формате nd json, и его размер пока колеблется от нескольких КБ до 100 МБ. Скорее всего, это будет расти в будущем.
Я хочу понять, что было бы идеально, если бы я мог разбить большой отклик на более мелкие порции (я рассматриваю вариант BFS и генерирую порции для каждого уровня, но может какие узкие места являются узкими местами) и каковы идеальные технологии для его достижения. Под этим я подразумеваю, какие AWS технологии или базы данных я могу использовать для хранения / запроса ответа.
PS : Я храню ответ в S3 и планирую использовать Афину. Но открыты для предложений.