AWS лямбда извлекает большие данные и загружает их на s3

Question

Я пытаюсь написать лямбда-функцию nodeJS для запроса данных из нашего кластера базы данных и загрузки их на s3, нам это требуется для дальнейшего анализа.Но я сомневаюсь, что если данные, запрашиваемые из базы данных, велики (9 ГБ), как лямбда-функция справится с этим, поскольку ограничение памяти составляет 3008 МБ?

Answer 1

лямбда имеет некоторые ограничения по времени выполнения и пространству.Лучше использовать гусеничный или работу в амазонском клее.это простой способ сделать это.для этого перейдите к `

amazon glue >> job >> create job

и заполните основные требования, такие как источник и место назначения.и запустить работу.нет ограничений по размеру и времени.

`

Answer 2

Существует также ограничение на дисковое пространство 500 МБ.

Следовательно, вам нужно передать результат в Amazon S3, когда он поступает из базы данных.

Вы также можете столкнуться с ограничением времени , равным 15 минутам для лямбда-функции, в зависимости от того, насколько быстро база данных может запрашивать и передавать такое количество информации.

Возможно, вы рассмотрите альтернативную стратегию, например, использование функции Lambda для вызова Amazon Athena для запроса базы данных. Результаты запроса Athena автоматически сохраняются в Amazon S3, что избавляет от необходимости передавать данные.