Обновите изменения в хранилище данных SQL Azure, используя polybase - PullRequest
Новая
       41

Обновите изменения в хранилище данных SQL Azure, используя polybase

1 голос
/ 07 апреля 2019

Мне нужна помощь в отношении хранилища данных Azure SQL, я использую Polybase для ELT-данных из хранилища озера данных Azure Gen2 в Azure SQL DW. Когда мы впервые загружаем данные в DW, проблем не возникает. Но когда мы снова загружаем данные / инкрементная загрузка, как мы сохраняем данные?

Поток мы используем

ASDL2 -> (polybase) -> Внешняя таблица -> (CTAS) -> Промежуточные таблицы -> (преобразование) -> таблицы измерений

При каждом изменении данных мы перезагружаем данные в ASDL2,
Каков наилучший способ передачи данных UPSERT или мы должны также перезагрузить данные в SQLDW?

1 Ответ

1 голос
/ 25 апреля 2019

Поскольку MERGE не поддерживается в хранилище данных Azure, вам необходимо использовать другие средства для загрузки данных из внешних таблиц в ваши промежуточные таблицы. PolyBase может использоваться для загрузки как исходных, так и инкрементных данных в схему внешних таблиц, но именно так вы выполняете загрузку в промежуточные таблицы.

Ниже приведено большое руководство по развертыванию этого решения: Использование PolyBase для обновления таблиц в хранилище данных из ADLS

Как только данные загружаются во внешние таблицы через PolyBase в конвейере ADFv2, вызывается триггер для выполнения sp в ADWH для выполнения загрузки в промежуточные таблицы.

...