Azure Data Factory Pipeline для копирования нескольких таблиц завершается ошибкой - PullRequest
1 голос
/ 20 марта 2020

Мой первый пост, заранее извините, если я делаю что-то не так

Я следовал инструкциям, приведенным ниже в документе Microsoft, и создал фабрику данных для копирования данных нескольких таблиц из On-Prem база данных в Azure база данных.

здесь

конвейер завершается с ошибкой:

PipelineName      : GetTableListAndTriggerCopyData
LastUpdated       : 3/20/2020 10:16:42 AM
Parameters        : {}
RunStart          : 3/20/2020 10:16:10 AM
RunEnd            : 3/20/2020 10:16:42 AM
DurationInMs      : 32430
Status            : Failed
Message           : Operation on target TriggerCopy failed:Operation on target IterateSQLTables failed: Activity failed because an inner activity failed

Json данные для обоих конвейеров как показано ниже:

1-й конвейер IterateAndCopySQLTables

{
"name": "IterateAndCopySQLTables",
"properties": {
    "activities": [
        {
            "name": "IterateSQLTables",
            "type": "ForEach",
            "typeProperties": {
                "isSequential": "false",
                "items": {
                    "value": "@pipeline().parameters.tableList",
                    "type": "Expression"
                },
                "activities": [
                    {
                        "name": "CopyData",
                        "description": "Copy data from On Prem SQL database to Azure SQL database",
                        "type": "Copy",
                        "inputs": [
                            {
                                "referenceName": "OnPremSourceDataset",
                                "type": "DatasetReference"
                            }
                        ],
                        "outputs": [
                            {
                                "referenceName": "AzureSinkDataset",
                                "type": "DatasetReference",
                                "parameters": {
                                    "SinkTableName": "[@{item().TABLE_NAME}]"
                                }
                            }
                        ],
                        "typeProperties": {
                            "source": {
                                "type": "SqlSource",
                                "sqlReaderQuery": "SELECT * FROM dbo.[@{item().TABLE_NAME}]"
                            },
                            "sink": {
                                "type": "AzureSqlSink",
                                "preCopyScript": "TRUNCATE TABLE dbo.[@{item().TABLE_NAME}]"
                            }

                        }
                    }
                ]
            }
        }
    ],
    "parameters": {
        "tableList": {
            "type": "Array"
        }
    }
}
}

2-й конвейер: GetTableListAndTriggerCopyData

{
"name":"GetTableListAndTriggerCopyData",
"properties":{
    "activities":[
        { 
            "name": "LookupTableList",
            "description": "Retrieve the table list from On Prem SQL database",
            "type": "Lookup",
            "typeProperties": {
                "source": {
                    "type": "SqlSource",
                    "sqlReaderQuery": "SELECT TABLE_NAME FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'dbo' and TABLE_NAME in ('Brands','Locations')"
                },
                "dataset": {
                    "referenceName": "OnPremSourceDataset",
                    "type": "DatasetReference"
                },
                "firstRowOnly": false
            }
        },
        {
            "name": "TriggerCopy",
            "type": "ExecutePipeline",
            "typeProperties": {
                "parameters": {
                    "tableList": {
                        "value": "@array(activity('LookupTableList').output.value)",
                        "type": "Expression"
                    }
                },
                "pipeline": {
                    "referenceName": "IterateAndCopySQLTables",
                    "type": "PipelineReference"
                },
                "waitOnCompletion": true
            },
            "dependsOn": [
                {
                    "activity": "LookupTableList",
                    "dependencyConditions": [
                        "Succeeded"
                    ]
                }
            ]
        }
    ]
}
}
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...