В моем сценарии использования я добавляю инкрементальный загрузчик в AWS Glue, где я читаю данные из местоположения корзины Amazon S3 (файл CSV), выполняю необходимые преобразования и записываю их в файл паркета в режиме добавления.
У меня есть Crawler для сканирования данных из S3 в каталог данных склеивания, а также позволено JobBookmark , чтобы сделать работу инкрементной, она отлично работает.
Теперь мне нужно проверить преобразованные данные и отправить по электронной почте уведомления о количестве прочитанных и записанных данных во время частичного завершения задания (сбой задания).
Я знаю, что мы можем использовать Amazon SNS и События Cloud Watch для отправки уведомлений о статусе работы. Я проверил его во время сбоя работы, и он работает нормально. Эта ссылка предоставляет дополнительную информацию об этом.
Есть ли способ уведомить проверенные преобразованные данные (включая эти метрики в подробности события cloudwatch) во время частичного завершения задания (сбой задания), используя AWS Glue, выше подход по уведомлению по электронной почте?