Я пытаюсь вызвать лямбда-функцию, когда задание Glue заканчивает разделение файла и записывает его на S3. Моя клейкая работа делает это:
df.repartition(10).write.format("csv").option("sep",",").option("header", "true").option("mode","Overwrite").save("s3://Bucket/a/b/c")
Я создал триггер со следующими параметрами:
Я положил run в качестве префикса, потому что моя работа Glue генерирует разделы, начинающиеся с run-.
Теперь я сомневаюсь, что моя лямбда-функция вообще не запускается, когда заканчивается работа Glue. (Я хочу, чтобы Lambda запускалась для всех файловых разделов.
Где именно я могу увидеть историю моей Lambda? Я явно новичок ie на AWS.
Спасибо вы