Лямбда-функция AWS (lambda_fns1
) запускается всякий раз, когда файл (sample_file
) загружается в корзину S3 (raw_data_bucket
)
Путь к слову равен s3://raw_data_bucket/client1/data/sample_file
Затем эта лямбда-функция (lambda_fns1
) запускает задание по склеиванию AWS (glue_job
) для обработки файлов.
Примечание: Задание по склеиванию является частью всего процесса склеивания. Полдюжины заданий выполняются до начала события CloudWatch.
Как только этот клей завершен, используется правило события наблюдения за облаком (cloud_event_rule
), запускающее другую функцию Lambda (lambda_fns2
).
[lambda_fns1] -> [[Glue Workflow(glue_job)]] -> [cloud_event_rule] -> [lambda_fns2]
https://www.youtube.com/watch?v=HYydZ5JLtQo
Первоначально у нас был только 1 клиент, мы жестко закодировали эти значения, но есть много клиентов. Теперь мне нужно передать следующие детали lambda_fns2
. Как это сделать?
{
'tenant': 'client1',
'path': 's3://raw_data_bucket/client1/data/sample_file'
}