Как загрузить несколько файлов из azure blob в azure synapse (Dw) с помощью azuredatafactory? - PullRequest
0 голосов
/ 26 февраля 2020

Я пытаюсь загрузить несколько файлов из azure blob в azure sql dw, используя фабрику данных azure. Ниже приведен мой код. Я столкнулся с выделенной ошибкой. Может кто-нибудь подсказать. Я вставляю здесь свой adf-код json.

Я получаю ниже Выделено на этапе копирования.

{
    "name": "DelimitedText11",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AzureBlobStorage2",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "FileName": {
                "type": "string"
            }
        },
        "annotations": [],
        "type": "DelimitedText",
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "fileName": {
                    "value": "@dataset().FileName",
                    "type": "Expression"
                },
                "container": "input"
            },
            "columnDelimiter": ",",
            "escapeChar": "",
            "firstRowAsHeader": true,
            "quoteChar": ""
        },
        "schema": []
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

Ошибка:

{
        "errorCode": "2200",
        "message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
        "failureType": "UserError",
        "target": "Copy data1",
        "details": []
    }

1 Ответ

1 голос
/ 27 февраля 2020

Если вы хотите загрузить несколько файлов из azure blob в Azure SQL Хранилище данных, пожалуйста, установите Wildcard file path в Исходном наборе данных. Или вы всегда получите ошибку 2200:

{
        "errorCode": "2200",
        "message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
        "failureType": "UserError",
        "target": "Copy data1",
        "details": []
    }

Например, у меня есть два csv-файла с одинаковой схемой, и я загружаю их в мою Azure SQL таблицу хранилища данных test.

CSV-файлы:

enter image description here

Исходный набор данных:

enter image description here

Настройка источника: выберите все файлы csv в контейнере источника:

enter image description here.

Набор данных для мойки:

enter image description here

Настройки мойки:

enter image description here

Отображение: enter image description here

Настройки: enter image description here

Выполнить конвейер и проверить данные в ADW: enter image description here

enter image description here

Надеюсь, это поможет.

...