AWS Lambda против функции шага AWS

Question

Я разрабатываю приложение, для которого ввод представляет собой большой текстовый файл (размер колеблется от 1 до 30 ГБ), загружаемый в корзину S3 каждые 15 минут. Он разбивает файл на не более мелких и копирует эти файлы в 3 разных сегмента S3 в 3 разных регионах AWS. Затем 3 приложения-загрузчика считывают эти n файлов из соответствующих блоков s3 и загружают данные в соответствующий аэрокосмический кластер.

Я думаю использовать лямбда-функцию AWS для разделения файла, а также для загрузки данных. Недавно я наткнулся на функцию шага AWS, которая также может служить цели на основе того, что я прочитал. Я не уверен, какой из них пойти и какой будет дешевле с точки зрения цены. Любая помощь приветствуется.

Заранее спасибо!

Answer 1

Функции лямбды и шага подобны этажам и ступеням на каждом этаже. Вы не можете заменить одно другим.

Лямбда вычисляет, пошаговые функции переводят их на нужный шаг.

Youtube видео очень хорошо объясняет: https://www.youtube.com/watch?v=Dh7h3lkpeP4

По аналогии, вы можете иметь несколько вычислений (лямбда) на одном этаже, прежде чем передавать его на следующий этаж.

Один из примеров показан ниже.

Вариант использования: https://john.soban.ski/transcribe-customer-service-voicemails-and-alert-on-keywords.html

Надеюсь, это поможет.

Answer 2

Шаговые функции превосходно координируют рабочие процессы, которые включают несколько предопределенных шагов. Он может хорошо выполнять параллельные задачи и обрабатывать ошибки. Он в основном использует лямбда-функции для выполнения каждой задачи.

В зависимости от вашего варианта использования, пошаговые функции звучат хорошо. Что касается цены, это добавляет очень небольшую дополнительную плату в дополнение к Lambdas. Исходя из вашего описания, я сомневаюсь, что вы даже заметите дополнительные расходы. Вам нужно будет оценить это на основе числа "переходов между состояниями" , которое вы будете использовать. Конечно, вам также придется платить за ваши лямбда-вызовы.