Я хочу получить некоторые данные, скажем, StudentActivityData от startDate до endDate .
Поскольку данные могут быть огромными, API для получения StudentActivity предоставляет разбитые на страницы результаты, и я периодически сохраняю данные на карте с ключом StudentId и значением StudentActivity для каждого разбитого на страницы результата.
Из-за большого размера данных я хочу создать файлы, соответствующие каждому ученику (имя файла как StudentId) и сохранить результат в этих файлах.
Каков эффективный способ создания и записи данных в файлы для вышеупомянутых сценарий?
Примечание:
1) Я не могу использовать базу данных в вышеприведенном сценарии, поскольку мне необходимо отправить отдельный файл в качестве вложения в электронное письмо в качестве уведомления.
2 ) Итак, у нас есть система уведомлений, которая в конечном итоге отправит электронное письмо. Я пишу задания по расписанию, в которых первое задание будет извлекать данные и записывать в файл, а если первое задание выполнится успешно, второе задание выберет все файлы и загрузит их на S3, а созданная ссылка будет отправлена клиенту уведомлений, чтобы они могли используйте его для прикрепления.
3) Отдельные файлы могут быть не большими, так как я буду выполнять некоторую фильтрацию данных.