Как настроить путь вывода при копировании данных из Azure Cosmos DB в ADLS Gen 2 через Azure Data Factory

Question

У меня есть коллекция Cosmos DB в следующем формате:

{
    "deviceid": "xxx",
    "partitionKey": "key1",
    .....
    "_ts": 1544583745
}

Я использую фабрику данных Azure для копирования данных из Cosmos DB в ADLS Gen 2. Если я копирую с использованием операции копирования, онаэто довольно просто.Однако меня больше всего беспокоит выходной путь в ADLS Gen 2. Наши требования гласят, что нам нужен выходной путь в определенном формате.Вот пример требования:

outerfolder/version/code/deviceid/year/month/day

Теперь, так как deviceid, год, месяц, день все находятся в самой полезной нагрузке, я не могу найти способ использовать их, кроме как создать операцию поиска и использоватьвывод операции поиска в операции копирования.

И вот как я устанавливаю папку вывода, используя свойство набора данных:

Я использую SQL API на базе данных Cosmos DB для запроса данных.

Есть ли лучший способ для достижения этой цели?

Answer 1

Я думаю, что ваш путь работает, но не самый чистый. Что бы я сделал, это создал разные переменные внутри конвейера для каждой из них: версия, код, deviceid и т. Д. Затем, после поиска, вы можете назначить переменные и, наконец, выполнить операцию копирования, ссылаясь на переменные конвейера.

Это может показаться излишним, но подумайте о том, что кому-то (или вам через 2 года) нужно изменить конвейер, и если вас нет рядом (или вы забыли), этот способ проясняет, как он работает и что Вы должны изменить.

Надеюсь, это помогло !!