Как отправить имя входного файла S3, которое после этого (файл S3) обрабатывается в задании AWS Glue, в AWS Lambda с помощью события Cloud Watch? - PullRequest
1 голос
/ 07 октября 2019

Лямбда-функция AWS (lambda_fns1) запускается всякий раз, когда файл (sample_file) загружается в корзину S3 (raw_data_bucket)

Путь к слову равен s3://raw_data_bucket/client1/data/sample_file

Затем эта лямбда-функция (lambda_fns1) запускает задание по склеиванию AWS (glue_job) для обработки файлов.

Примечание: Задание по склеиванию является частью всего процесса склеивания. Полдюжины заданий выполняются до начала события CloudWatch.

Как только этот клей завершен, используется правило события наблюдения за облаком (cloud_event_rule), запускающее другую функцию Lambda (lambda_fns2).

[lambda_fns1] -> [[Glue Workflow(glue_job)]] -> [cloud_event_rule] -> [lambda_fns2]

https://www.youtube.com/watch?v=HYydZ5JLtQo

Первоначально у нас был только 1 клиент, мы жестко закодировали эти значения, но есть много клиентов. Теперь мне нужно передать следующие детали lambda_fns2. Как это сделать?

{
'tenant': 'client1',
'path': 's3://raw_data_bucket/client1/data/sample_file'
}
...