Aws лямбда против aws партия

Question

В настоящее время я работаю над проектом, в котором мне нужно объединить два значительно больших файла CSV в один (оба - несколько сотен МБ). Я довольно новичок в aws. Я знаю об ограничении памяти и времени выполнения лямбды. Кроме этого, есть ли какие-либо преимущества использования пакетных заданий по сравнению с лямбдой для этого проекта? Есть ли другой компонент aws, который больше подходит для этой задачи? Лямбда или пакетное задание будут запускаться внутри пошаговой функции с помощью уведомления sns.

Answer 1

Попробуйте использовать функцию Python в Lambda, которая пишет в S3 с помощью boto3.

Answer 2

Лямбда-функция имеет некоторые ограничения:

• Время выполнения: 15 минут
• ОЗУ: 3G
• дисковое пространство /tmp только 500 МБ <= трудно хранить любой файл, который больше этого числа на lambda </li>

Хорошая вещь - дешевая и быстрая загрузка

Я предлагаю вам использовать ECS (и Fargate, и Container хороши)