Фильтровать данные BLOB-объектов в операции копирования

Question

У меня есть копия Activity, которая копирует данные из Blob в Azure Data Lake.BLOB-объект заполняется функцией Azure с триггером-концентратором событий.К BLOB-файлам добавляется метка времени UNIX, которая является временем в очереди событий в концентраторе событий.Фабрика данных Azure запускается каждый час, чтобы объединить файлы и переместить их в озеро данных.

Внутри набора исходных данных у меня есть фильтры по дате последнего изменениядата в UTC время из коробки.Я могу использовать это, но это ограничивает меня, чтобы использовать дату последнего изменения в BLOB-объекте.Я хочу использовать свои собственные фильтры даты и решить, где я хочу применить эти фильтры.Возможно ли это на фабрике данных?Если да, не могли бы вы указать мне в правильном направлении.

Answer 1

В любом случае, для ADF единственная идея, которая пришла мне в голову, - это использовать комбинацию Активность поиска , Активность ForEach и Активность фильтра .Maybeэто довольно сложно.

1. Используйте поиск, чтобы получить данные из файла BLOB-объекта.

2. Используйте ForEach Activity, чтобы зациклить результат и установить фильтры времени данных.

3. Внутри ForEach Activity выполните задачу копирования.

Пожалуйста, обратитесь к этому блогу , чтобы получить некоторые подсказки.

Просмотрите ваши описания всехзадач, которые вы выполняли сейчас, я предлагаю вам получить представление о Azure Stream Analytics Service .Независимо от того, источником данных является Event Hub или хранилище BLOB-объектов Azure, ASA поддерживает их как input .И он поддерживает ADL как output .

. Вы можете создать задание для настройки ввода и вывода, а затем использовать популярный SQL язык для фильтрации ваших данных так, как вы хотите.как , где оператор или DataTime Функции .