Набор данных Azure DataFactory DelimitedText с параметризованной схемой - PullRequest
0 голосов
/ 17 июня 2019

Я пытаюсь создать общий набор данных CSV с параметризованным именем файла и схемой, чтобы иметь возможность использовать его в циклах foreach со списками файлов, и у меня возникают некоторые проблемы при публикации, и я не знаю, что-то не так или если документация по фреймворку не верна.

Согласно документации описание схемы:

Столбцы, которые определяют схему физического типа набора данных. Тип: массив (или выражение с массивом resultType), itemType: DatasetSchemaDataElement.

У меня есть набор данных с параметром с именем Schema типа Array, а для "schema" установлено выражение, которое возвращает этот параметр:

{
    "name": "GenericCSVFile",
    "properties": {
        "linkedServiceName": {
            "referenceName": "LinkedServiceReferenceName",
            "type": "LinkedServiceReference"
        },
        "parameters": {
            "Schema": {
                "type": "array"
            },
            "TableName": {
                "type": "string"
            },
            "TableSchema": {
                "type": "string"
            }
        },
        "folder": {
            "name": "Folder"
        },
        "type": "DelimitedText",
        "typeProperties": {
            "location": {
                "type": "AzureDataLakeStoreLocation",
                "fileName": {
                    "value": "@concat(dataset().TableSchema,'.',dataset().TableName,'.csv')",
                    "type": "Expression"
                },
                "folderPath": "Path"
            },
            "columnDelimiter": ",",
            "escapeChar": "\\",
            "firstRowAsHeader": true,
            "quoteChar": "\""
        },
        "schema": {
            "value": "@dataset().Schema",
            "type": "Expression"
        }
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

Однако при публикации я получаю следующую ошибку:

Error code: BadRequest
Inner error code: InvalidPropertyValue
Message: Invalid value for property 'schema'

Я что-то не так делаю? документы не так?

1 Ответ

0 голосов
/ 19 июня 2019

Да, это ожидаемое поведение.Если вам нужно установить динамическое значение для сопоставления столбцов, пожалуйста, не обращайте внимания на схему в наборе данных DelimitedText, которая больше подходит для визуального отображения информации о физической схеме и не будет действовать, когда выполняется копирование сопоставления столбцов действий.Настройка выражения для него также не допускается.Вы можете настроить отображение как выражение для достижения этой цели и передать ему правильное значение при запуске триггера.enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...