Можно ли отправлять уведомление, когда Snowpipe не удается скопировать файлы в Snowflake?

Question

Я создал внешнюю сцену Снежинки на AWS S3 bucket. Кроме того, я настроил Snowpipe, которая выполняет команду копирования, когда в корзине S3 есть файл PUT. Snowpipe получает уведомление от уведомления SNS. Канал настроен на прерывание при ошибке. Теперь, если есть ошибка при копировании файлов из S3 в Snowflake ... скажем, из-за несоответствия данных ... Snowpipe просто прерывается. Есть ли способ, которым я получаю уведомление, когда трубка выходит из строя? Потому что я не знаю, теряю ли я какой-либо файл из-за ошибки.

Answer 1

Нет, в настоящее время снежная труба не будет отправлять уведомления о сбое. Рекомендуется просмотреть состояние файла в очереди Snow Snow Pipe или использовать любые инструменты третьей стороны для отслеживания очереди Snowpipe.

Большое спасибо, Sriga

Answer 2

В Snowflake в настоящее время нет служб уведомления / оповещения, доступных для чего-либо, кроме МОНИТОРОВ РЕСУРСА, которые предназначены для потребления на складе. Лучший способ отслеживать проблемы с Snowpipe - использовать сторонний инструмент для создания отчетов / мониторинга, который запрашивает представления Snowflake.

Я бы рекомендовал также рассмотреть следующий проект github, который представляет собой мониторинг с открытым исходным кодом / инструмент оповещения, написанный для Снежинки:

https://github.com/snowflakedb/SnowAlert