Динамический выходной путь фабрики данных Azure на основе полезной нагрузки исходного набора данных

Question

У меня есть работа с потоковой аналитикой, которая постоянно сбрасывает данные в базу данных Cosmos.Полезная нагрузка имеет свойство «Тип», которое определяет саму полезную нагрузку.т.е. какие столбцы включены в полезную нагрузку.Это целочисленное значение 1 или 2.

Я использую фабрику данных Azure V2 для копирования данных из базы данных Cosmos в Data Lake.Я создал конвейер с активностью, которая выполняет эту работу.Я устанавливаю имя папки выходного пути, используя:

@concat('datafactoryingress/rawdata/',dataset().productFilter,'/',formatDateTime(utcnow(),'yyyy'),'/')

Что я хочу в фабрике данных, так это определить саму полезную нагрузку, т.е. определить, является ли тип 1 или 2, а затемопределить, поступают ли данные в папку 1 или папку 2. Я хочу выполнить итерацию данных из базы данных Cosmos, определить тип сообщения и разделить его на основе типа сообщения и динамически задать пути к папкам.

Есть ли способсделай это?Могу ли я проверить документ Cosmos DB, чтобы узнать тип сообщения, а затем как динамически установить путь к папке на основе этого?

Answer 1

Есть ли способ сделать это? Могу ли я проверить документ Cosmos DB, чтобы найти тип сообщения, а затем, как динамически установить путь к папке на основании чего?

К сожалению, на основе doc динамический контент из исходного набора данных пока не поддерживается adf. Вы не можете получить поля в исходных данных в качестве выходных динамических параметров приемника. Исходя из вашей ситуации, я предлагаю вам настроить два отдельных конвейера для передачи данных в соответствии с полем Type соответственно.

Если поле Type изменено и вы хотите разграничить выходной путь, АПД может не подойти вам. Вы можете написать логический код для удовлетворения ваших потребностей.

Надеюсь, это поможет вам.