Может ли кто-нибудь посоветовать мне, как я могу проверить результаты загрузки данных из S3 в Snowflake.
Процесс загрузки ориентирован на пакетную обработку, когда я перетаскиваю файлы в корзину S3, откуда в Snowflake мы вставлять данные в постоянные таблицы, запрашивая этапы чтения из файлов.
После обработки данных из файла файл необходимо переместить в папку архива.
Я борюсь как я могу завершить последний шаг?
Я вижу несколько вариантов в уме, но не уверен, насколько они хороши. Вариант 1 - внешняя функция в Snowflake, которая вызовет событие в AWS, которое вызовет лямбда-функция для перемещения файла. Я думаю, что это немного ненадежно
вариант 2 - записать результаты загрузки в таблицу аудита в Snowflake, затем из aws опросить эту таблицу и переместить все файлы, перечисленные в ней как обработанные, в архив - может работать, но немного старая школа, также не в реальном времени, поэтому потребуются дополнительные запросы на стороне Snowflake для предотвращения дублирования
вариант 3 - записать файл прямо в папку сцены и архива и удалить его из Snowflake с помощью опции удаления загрузки команда - не идеальная и немного обходной-i sh.
Заранее большое спасибо. Думаю, не нужно говорить, что я новичок в Snowflake: -)