Я планирую периодически перемещать данные из ряда баз данных с помощью фабрики данных Azure (ADF) и хочу переместить данные в хранилище параллельных данных Azure (APDW). Однако шаг «назначение» в мастере АПД предлагает мне 2 функции; 1 - в случае, когда данные извлекаются из представления, ожидается, что вы сопоставите столбцы с существующей таблицей, и 2 - когда данные поступают из таблицы, вы должны генерировать объект таблицы в APDW.
Реально это слишком дорого для обслуживания, и возможно ошибочно отобразить исходные данные в зону посадки.
Я хотел бы добиться алгоритмического подхода с использованием переменных для именования схем, кодов клиентов и таблиц.
После того, как исходные данные будут найдены, я преобразую их, используя нашу среду интеграции с SSIS. Мне также интересно, может ли пакет служб SSIS запрашивать исходные данные вместо конвейера ADF.
- Существуют ли какие-либо ресурсы для подключения к локальным IR через объекты SSIS?
- Можно ли изменить JSON ADF для динамической генерации схемы для каждого источника данных?