Как отправлять сообщения об ошибках в канале данных AWS куда-нибудь, кроме SNS? - PullRequest
0 голосов
/ 13 декабря 2018

Я хочу собирать журналы сбоев для действий с каналом данных AWS.Стандартная обработка ошибок, предоставляемая AWS при сбое действий (шагов) линии данных, заключается в отправке уведомления в тему SNS.Вместо этого я хочу хранить эти ошибки в журнале.(В идеале в S3).

Есть ли способ настроить мою линию данных для регистрации этих уведомлений о сбоях вместо отправки уведомления в SNS?Я хочу отправлять журналы сбоев данных на S3.

Согласно документации , представляется, что SNS является единственным поддерживаемым местом назначения для уведомлений об ошибках.

Надеюсь, что есть способ, потому что в AWS очень распространена схема отправки журналов в сегменты S3.

Интересно, смогу ли я найти ошибку?регистрируется в корзине pipelineLogUri S3, настроенной для каждого шага линии данных?(Если бы я мог отфильтровать эти гранулярные журналы для фатальных ошибок, это было бы приемлемо для меня)

1 Ответ

0 голосов
/ 17 декабря 2018

Я решил подписать лямбда-функцию на уведомления SNS и отправить их на S3 оттуда.Не идеально (потому что это добавляет дополнительную сложность нашей системе), но это работает.

...