Обработка огромных файлов с использованием AWS S3 и Lambda - PullRequest
0 голосов
/ 28 января 2020

Я пытаюсь расшифровать файлы, которые периодически поступают в наше хранилище s3. Как я могу обработать, если размер файла огромен (например, 10 ГБ), поскольку вычислительные ресурсы Lambda ограничены. Я не уверен, если необходимо загрузить весь файл в Lambda и выполнить расшифровку, или есть какой-то другой способ, которым мы можем разделить файл и обработать?

Редактировать: - Обработка файла здесь включает в себя расшифровку файла и проанализируйте каждую строку и запишите ее в постоянное хранилище, например SQL очередь или база данных.

...