Как получить только определенные данные из хранилища BLOB-объектов Azure в фабрике данных Azure, выполняя операции копирования с назначением в качестве базы данных SQL?

Question

Я пытаюсь выполнить операцию копирования внутри фабрики данных Azure, где источником является Blob, а местом назначения является база данных MySql.

Я не хочу, чтобы определенные данные копировались во время этого действия, и это можно определить, прочитав значение первого ключа Element of Blob JSON.

Или, может быть, если невозможно прекратить чтение всех BLOB-данных, то по крайней мере при записи в таблицу SQL мне нужны только некоторые конкретные данные.

Я увидел, что в операции копирования есть сценарий предварительного копирования. Может кто-нибудь подсказать, как его использовать или какой сценарий я могу там написать?

Answer 1

Сценарий предварительной копии не работает по вашему требованию. Вы можете использовать поток данных с преобразованием фильтра для очистки ваших данных.

Документ: https://docs.microsoft.com/en-us/azure/data-factory/data-flow-create