База данных SQL Azure: перенесите / перенесите таблицу из одной базы данных SQL Azure в другую базу данных SQL Azure с помощью операции копирования - PullRequest
Новая
       23

База данных SQL Azure: перенесите / перенесите таблицу из одной базы данных SQL Azure в другую базу данных SQL Azure с помощью операции копирования

0 голосов
/ 18 марта 2019

Я пытаюсь перенести таблицу из базы данных A в базу данных B на том же Azure SQL Server.Мне удалось перенести данные из хранилища BLOB-объектов Azure в базу данных Azure с помощью фабрики данных Azure, но я не понимаю, как изменить код ADF для переноса данных между базами данных.

Я научилсяперенести данные с помощью Эта ссылка на StackOverflow Но я ищу перенастройку таблицы с использованием операции копирования.

Мой конвейер для BLOB-объектов Azure в Azure SQL приведен ниже.Предложите изменения, которые приведут к переносу данных из одной базы данных SQL Azure в другую.Вот полный код фабрики данных.Я ищу обходной путь или, по крайней мере, какой-нибудь ресурс, который помог бы мне.Заранее спасибо.

Azure SQL Linked Service 

{
"name": "AzureSqlLinkedService",
"properties": {
    "description": "",
    "hubName": "dalete_hub",
    "type": "AzureSqlDatabase",
    "typeProperties": {
        "connectionString": "Data Source=tcp:server.database.windows.net,1433;Initial Catalog=DB;Integrated Security=False;User ID=login@server.database.windows.net;Password=**********;Connect Timeout=30;Encrypt=True"
    }
}

}

Azure Storage Linked Service 

{
"name": "AzureStorageLinkedService",
"properties": {
    "description": "",
    "hubName": "dalete_hub",
    "type": "AzureStorage",
    "typeProperties": {
        "connectionString": "DefaultEndpointsProtocol=https;AccountName=newstorageaccount;AccountKey=**********"
    }
}

}

Входной набор данных 

   {
    "name": "InputDataset",
    "properties": {
        "structure": [
            {
                "name": "Region",
                "type": "String"
            },
            {
                "name": "Sales",
"type": "String"
            }
        ],
        "published": false,
        "type": "AzureBlob",
        "linkedServiceName": "AzureStorageLinkedService",
        "typeProperties": {
            "fileName": "data.txt",
            "folderPath": "adfpoc/",
            "format": {"type": "TextFormat",
                "columnDelimiter": ","
            }
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        },
        "external": true,
        "policy": {}
    }
}

Выходной набор данных 

    {
    "name": "OutputDataset",
    "properties": {
        "structure": [
            {
                "name": "Region",
                "type": "String"
            },
            {
                "name": "Sales",
                "type": "String"
            }
        ],
        "published": false,
        "type": "AzureSqlTable",
        "linkedServiceName": "AzureSqlLinkedService",
        "typeProperties": {
            "tableName": "data"
        },
        "availability": {
            "frequency": "Hour",
            "interval": 1
        }
    }
}

ADFPipeline

  {
    "name": "ADFTutorialPipeline",
    "properties": {
        "description": "Copy data from a blob to Azure SQL table",
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "BlobSource" },
                    "sink": {
                        "type": "SqlSink",
                        "writeBatchSize": 10000,
                        "writeBatchTimeout": "60.00:00:00"
                    }
                },
                "inputs": [
                    {
                        "name": "InputDataset"}
                ],
                "outputs": [
                    {
                        "name": "OutputDataset"
                    }
                ],
                "policy": {
                    "timeout": "01:00:00",
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst"
                },
                "scheduler": {
                    "frequency": "Hour",
                    "interval": 1
                },
                "name": "CopyFromBlobToSQL"
            }
        ],
        "start": "2019-03-11T00:00:00Z",
        "end": "2019-03-12T00:00:00Z",
        "isPaused": false,
        "hubName": "dalete_hub",
        "pipelineMode": "Scheduled"
    }
}

Ответы [ 2 ]

0 голосов
/ 21 марта 2019

Я пытался выполнить ту же операцию с вами и успешно перенес свою таблицу в фабрику данных.

Например, у меня есть таблица table1 в базе данных dbleon, я хочу перенести table1 в другую базу данных dbleon1 с операцией копирования.

Я создаю новую таблицу table1 в dbmeon1, которая имеет ту же схему с table1 в dbleon. enter image description here

Вот мой код ADF: 

{
    "name": "CopyPipeline_0oh",
    "properties": {
        "activities": [
            {
                "name": "Copy_0oh",
                "type": "Copy",
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [
                    {
                        "name": "Source",
                        "value": "[dbo].[table1]"
                    },
                    {
                        "name": "Destination",
                        "value": "[dbo].[table1]"
                    }
                ],
                "typeProperties": {
                    "source": {
                        "type": "SqlSource"
                    },
                    "sink": {
                        "type": "SqlSink",
                        "writeBatchSize": 10000
                    },
                    "enableStaging": false,
                    "translator": {
                        "type": "TabularTranslator",
                        "columnMappings": {
                            "id": "id",
                            "name": "name"
                        }
                    }
                },
                "inputs": [
                    {
                        "referenceName": "SourceDataset_0oh",
                        "type": "DatasetReference"
                    }
                ],
                "outputs": [
                    {
                        "referenceName": "DestinationDataset_0oh",
                        "type": "DatasetReference"
                    }
                ]
            }
        ]
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Исходный набор данных: 

{
    "name": "SourceDataset_0oh",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AzureSqlDatabase1",
            "type": "LinkedServiceReference"
        },
        "type": "AzureSqlTable",
        "structure": [
            {
                "name": "id",
                "type": "Int32"
            },
            {
                "name": "name",
                "type": "String"
            }
        ],
        "typeProperties": {
            "tableName": "[dbo].[table1]"
        }
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

Набор данных назначения: 

{
    "name": "DestinationDataset_0oh",
    "properties": {
        "linkedServiceName": {
            "referenceName": "AzureSqlDatabase2",
            "type": "LinkedServiceReference"
        },
        "type": "AzureSqlTable",
        "structure": [
            {
                "name": "id",
                "type": "Int32",
                "precision": 10
            },
            {
                "name": "name",
                "type": "String"
            }
        ],
        "typeProperties": {
            "tableName": "[dbo].[table1]"
        }
    },
    "type": "Microsoft.DataFactory/factories/datasets"
}

Надеюсь, это поможет.

0 голосов
/ 19 марта 2019

Переход из базы данных SQL в другую будет аналогичен тому, что вы уже сделали, но на этот раз источником будет таблица SQL, как и ваш предыдущий приемник (или выходные данные).

Итак, вам нужно создать новую связанную службу для новой базы данных, а затем создать набор данных для ввода (в том же формате, что и предыдущий вывод, но изменив имя связанной службы, чтобы она использовала новую связанную службу ).

Наконец, создайте конвейер и правильно настройте входные и выходные наборы данных.

Надеюсь, это помогло!

...