Как превратить колонку перед копией?

Question

Я хотел бы скопировать таблицу из sourceA в sourceB, но прежде чем я хочу преобразовать значения столбцов. Как я мог это сделать? Я пытался сделать это в сопоставлении, пытаясь добавить динамический контент, но я думаю, что я делаю это неправильно.

Спасибо!

Answer 1

Ваш вариант использования звучит так, как если бы вы могли использовать новую функцию потока данных (в настоящее время в режиме предварительного просмотра): https://docs.microsoft.com/en-us/azure/data-factory/data-flow-create

Answer 2

jnoguerm, пожалуйста, примите идею хранимой процедуры, о которой я упоминал в предыдущем случае: Как копировать данные в фабрике данных Azure в зависимости от значений? .

Вы можете скопироватьданные из исходной таблицы во временную таблицу. И выполните операции преобразования и вставки в хранимой процедуре. В этом случае: фабрика данных Azure, отображающая 2 столбца в один столбец , спрашивающий хочет объединить два столбца водин столбец (изменить, объединить, рассчитать, обновить, уменьшить и т. д.), вы можете обратиться к деталям на этой странице.

Answer 3

Использовать отображение потоков данных в АПД: https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column

Answer 4

Прежде чем я смогу ответить на ваш вопрос, важно знать объем и источник данных. Однако может быть три возможных решения этой проблемы.

1. Активность хранимых процедур в фабрике данных Azure

• Используйте операцию копирования в фабрике данных Azure для переноса данных в SQL (промежуточные таблицы), но если ваш источник уже SQL, вы можете пропустить этот шаг.
• Напишите хранимую процедуру для включения всех необходимых преобразований.
• Используйте действие хранимой процедуры, чтобы выполнить все необходимые преобразования и вставить данные в финальную таблицу.

2. Использовать пакет служб SSIS в фабрике данных Azure

• Вам не нужно переносить данные в промежуточную стадию, вы можете создать пакет служб SSIS с помощью средств данных SQL Server на локальном компьютере. Добавить источник, преобразования и назначения

• Добавьте этот пакет служб SSIS в фабрику данных Azure, если вам необходимо иметь фабрику данных Azure, в противном случае вы можете просто запланировать пакет служб SSIS с помощью агента заданий SQL.

3. Использовать поток данных с фабрикой данных Azure V2.0

• В настоящее время поток данных находится в режиме предварительного просмотра, поэтому вы не можете использовать это решение для любого готового решения.

• При создании фабрики данных Azure вам будет предложено выбрать вариант: фабрика данных v1, фабрика данных V2 или поток данных с фабрикой данных V2. Итак, вам нужно выбрать третий вариант

• Теперь вы можете выполнить большинство ваших преобразований, которые вы могли бы выполнить в пакете служб SSIS. Он прост в использовании, все возможности перетаскивания для различных преобразований между источником и местом назначения. И это лучшее решение, даже если объем данных очень большой.

Надеюсь, это поможет вам. Всего наилучшего. Ура!