Начнем с того, что я не уверен, возможно ли это с существующими функциями Snowpipe.
У меня есть корзина S3 с годами данных, и иногда некоторые из этих файлов обновляются (содержимоеизменить, но имя файла остается прежним). Я надеялся использовать Snowpipe для импорта этих файлов в Snowflake, так как аспект «мы не будем импортировать измененные файлы» мне нравится.
Однако я обнаружил, что ALTER PIPE ... REFRESH
может быть толькоиспользуется для импорта файлов, созданных не ранее, чем семь дней назад, и единственной другой рекомендацией, которая есть в документации Snowflake для импорта исторических данных, является использование COPY INTO ...
. Однако , если я использую это, то, если эти старые файлы модифицируются, они импортируются через Snowflake, поскольку метаданные, препятствующие COPY INTO ...
повторному импорту файлов S3, и метаданные для Snowpipe отличаются, поэтому яможет закончиться тем, что этот файл будет импортирован дважды.
Есть ли какой-нибудь подход, если не считать "изменить все этих файлов в S3, чтобы у них была недавно измененная отметка времени", что позволило бы мнеиспользовать Snowpipe с этим?