Как выполнить преобразования фабрики данных для больших наборов данных в Azure хранилище данных

Question

У нас есть таблицы хранилища данных, которые мы выполняем преобразования с использованием ADF.

Если у меня есть группа таблиц ADW, и мне нужно выполнить преобразования для них, чтобы перенести их обратно в ADW, следует ли мне сохранить преобразования в Azure хранилище BLOB-объектов? или go прямо в таблицу целей.

Таблицы ADW превышают 100 миллионов записей.

Является ли приемлемой практикой использование хранилища BLOB-объектов в качестве среднего элемента.

Answer 1

Да, вам лучше использовать Blob Storage в качестве среднего элемента.

Нельзя копировать таблицы из SQL DW (источник) в тот же SQL DW (приемник) напрямую ! Если вы попробовали это ，, у вас будут проблемы:

1. Копировать данные: произошла ошибка при отображении данных, скопируйте данные в ту же таблицу, но не создавайте новые истории.
2. Копировать Активно: таблица требуется для операции копирования.

Если вы хотите скопировать данные из таблиц SQL DW в новые таблицы с коэффициентом данных, необходимо выполнить как минимум два шага:

1. скопируйте данные из таблиц SQL DW в хранилище BLOB-объектов (создайте файлы CSV).
2. Загрузите эти файлы CSV в SQL DW и создайте новые таблицы.

Справочные руководства:

• Копирование и преобразование данных в Azure Synapse Analytics (ранее Azure SQL Хранилище данных) с использованием Azure Фабрика данных
• Копирование и преобразование данных в Azure Хранение блобов с помощью Azure Фабрика данных

Фабрика данных хороша для передачи больших данных. Ссылка Копирование производительности фабрики данных . Я думаю, что это может быть быстрее, чем SELECT - INTO Clause (Transact- SQL) .

Надеюсь, это поможет.

Answer 2

Я могу придумать два способа сделать это (они не требуют перемещения данных в хранилище больших двоичных объектов),

• Выполнить преобразование в SQL DW, используя хранимую процедуру, и использовать ADF для организации вызов хранимой процедуры
• Использование потока данных ADF для применения преобразования для чтения из SQL DW и обратной записи в SQL DW