Snowflake автоматизирует загрузку данных из s3 в таблицу снежинок и свопинга

Question

Сначала я экспортирую данные с сервера sql на s3 csv. Каков наилучший способ загружать данные из s3 csv в снежинку каждый день (усекать и загружать) в одну таблицу этапов и заменять итоговую таблицу после копирования.

Каковы лучшие методы для достижения этой цели? Snowpipe просто копирует, но не обменивается.

Пожалуйста, поделитесь своими снежинками техникой ELT / ETL.

Спасибо, Джо

Answer 1

Посмотрите на задачи и потоки. Задачи можно запланировать на частое выполнение, и если вы используете Stream, вы можете использовать функцию SYSTEM $ STREAM_HAS_DATA, чтобы определить, есть ли новые данные из Snowpipe.

https://docs.snowflake.net/manuals/user-guide/tasks-intro.html

https://docs.snowflake.net/manuals/user-guide/streams.html