У меня есть приложение Node.js, работающее на сервере AWS t2.xlarge, которое извлекает многие страницы данных из API (т. Е. Данные заказа на продажу за определенный день), а затем сохраняет эти данные в плоский файл на S3.Иногда существуют тысячи и тысячи страниц данных, и, прежде чем служба завершит извлечение всех данных из API, ей не хватит памяти и произойдет сбой.
Должен ли я извлекать одну страницу за раз, сохраняя этоданные на S3, а затем добавить следующую страницу?Могу ли я даже добавить к существующему файлу S3?