Определите обработанные файлы на внешней сцене Snowflake - PullRequest
0 голосов
/ 15 октября 2019

Я загружаю CSV-файлы из Amazon S3 в Snowflake через внешнюю сцену Snowflake, указывающую на Amazon S3 с помощью команды COPY.

Можно ли идентифицировать файлы, которые уже были обработаны Snowflake?

Я исследовал листинг с внешнего этапа и запрос метаданных для внешнего этапа

В идеале,эти данные будут выводиться как флаг, который я могу запросить в SQL.

1 Ответ

1 голос
/ 15 октября 2019

Представление INFORMATION_SCHEMA.LOAD_HISTORY должно содержать соответствующую информацию о загрузке данных.
Столбцы SCHEMA_NAME, FILE_NAME, TABLE_NAME, LAST_LOAD_TIME, STATUS, ROW_COUNT и т. Д.

Документировано здесь .

...