Скопировать в скрипт для копирования нескольких таблиц и для повседневного запуска - PullRequest
1 голос
/ 18 октября 2019

(Отправка этого от имени пользователя Snowflake, в надежде получить дополнительную информацию или альтернативные рекомендации ...)


Мы пытаемся скопировать данные из BLOB-объекта Azure в таблицы снежинок с помощью оператора COPY INTO.

При создании промежуточной области необходим токен SAS.

Если я хочу запустить эту копию в сценарии с использованием той же самой промежуточной области, как я могу автоматизировать создание промежуточной области с новым маркером SAS каждый день? .

Есть ли другой способ, кроме токена SAS, для доступа к BLOB-объектам в Azure

Также помогите мне, можем ли мы создать хранимую процедуру для автоматизации всех этих задач, таких как

->Создание промежуточной области с токеном SAS

-> Создание формата файла

-> Скопировать в оператор.

Пожалуйста, помогите мне


Рекомендация № 1: Я рекомендую заглянуть в раздел «Задачи» или просмотреть раздел «Партнеры по технологиям» на веб-сайте Snowflake и найти инструмент ETL / ELT, который лучше всего подходит для вашего сценария. Большинство инструментов имеют встроенную интеграцию с Azure, поэтому вам не нужно вручную генерировать токен, это будет сделано с помощью ключей.


Рекомендация № 2: Я не думаю, что ваша проблема здесь связана с инструментом, который вы используете, а скорее с истечением срока действия вашего токена SAS. Вы намеренно истекаете срок действия вашего токена каждые 24 часа? Если вы увеличите продолжительность этого действия, вам не придется создавать новый этап с новым токеном SAS каждый день.

Если вы пытаетесь каждый день вращать токены SAS, то я предлагаюсоздайте сценарий (python или что-то), который фактически запрашивает новый токен из Azure, а затем создает, а затем воссоздает вашу сцену с новым токеном. Хранимые процедуры или задачи не могут получить токен SAS из Azure для вас, поэтому я не уверен, как вы полностью автоматизируете этот процесс с помощью SP или задач.


Любые другие рекомендации или альтернативыобходные

...