Создание контейнера в хранилище Azure перед загрузкой данных с использованием ADF v2 - PullRequest
Новая
       30

Создание контейнера в хранилище Azure перед загрузкой данных с использованием ADF v2

0 голосов
/ 09 мая 2019

Заранее спасибо, я новичок в ADF и создал конвейер с портала ADF.Исходная папка на сервере и набор данных назначения - это хранилище BLOB-объектов Azure.Я использую акробатическое окно, которое передает время начала и окончания даты и загружает только последние данные, используя lastmodified datetime.

Запрос: если я хочу создавать субконтейнеры на лету в хранилище Azure, которое я использую/ container / $ monthvariable, и он автоматически создает подконтейнер на основе переменной месяца

Например, здесь мой источник 

dfac/
$monthvariable = 5

, если я поставлю 

dfac/$monthvariable

тогда все файлы будут загружены в dfac / 5 / и будут выглядеть следующим образом 

dfac/5/file1
dfac/5/file2
dfac/5/file3

Здесь, в ADF, я хотел получить месяц конвейерного месяца и добавить его в конвейер.Это то, что я могу сделать?и где я могу определить переменную? 

  {
            "name": "Destination",
            "value": "dfac/$monthvariable"// does it work and is this the right way to do this stuff
        }

Мой фактический код выглядит следующим образом. 

{
    "name": "Copy_ayy",
    "type": "Copy",
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 2,
        "retryIntervalInSeconds": 30,
        "secureOutput": false,
        "secureInput": false
    },
    "userProperties": [
        {
            "name": "Source",
            "value": "/*"
        },
        {
            "name": "Destination",
            "value": "dfac/"
        }
    ],
    "typeProperties": {
        "source": {
            "type": "FileSystemSource",
            "recursive": true
        },
        "sink": {
            "type": "BlobSink",
            "copyBehavior": "PreserveHierarchy"
        },
        "enableStaging": false
    },
    "inputs": [
        {
            "referenceName": "SourceDataset_ayy",
            "type": "DatasetReference",
            "parameters": {
                "cw_modifiedDatetimeStart": "@pipeline().parameters.windowStart",
                "cw_modifiedDatetimeEnd": "@pipeline().parameters.windowEnd"
            }
        }
    ],
    "outputs": [
        {
            "referenceName": "DestinationDataset_ayy",
            "type": "DatasetReference"
        }
    ]
}

1 Ответ

1 голос
/ 09 мая 2019

Я полагаю, вы используете инструмент копирования данных.Тогда вы также можете использовать его, чтобы помочь вам для части пути назначения.Это поможет вам создать параметры.enter image description here

...