Запуск конвейера фабрики данных Azure с несколькими нисходящими активностями Медленный запуск нисходящего планировщика - PullRequest
Новая
       5

Запуск конвейера фабрики данных Azure с несколькими нисходящими активностями Медленный запуск нисходящего планировщика

0 голосов
/ 11 мая 2018

Я создал конвейер ADF с двумя связанными действиями: первое для запуска хранимой процедуры и второе действие (Копирование данных) для копирования данных из таблицы Azure DW в таблицу Azure SQL DB. Чтобы связать эти два, я поместил выходной набор данных хранимой процедуры в качестве входных данных операции копирования данных, даже если этот набор данных не используется (для этого есть отдельный набор данных).

Теперь проблема в том, что когда я вхожу в «Мониторинг и управление» и выполняю 2-е действие с «Перезапустить с восходящим потоком в конвейере», 1-е действие хранимой процедуры выполняется быстро, а затем 2-е действие ждет около 5 минут, прежде чем перейти к «В». Прогресс. Почему это происходит? Это из-за проблем с нарезкой по времени? Код трубопровода следующий: 

{
"name": "RunADLAProc",
"properties": {
    "description": "This will run the procedure for ADLA",
    "activities": [
        {
            "type": "SqlServerStoredProcedure",
            "typeProperties": {
                "storedProcedureName": "dbo.BackUpDatabaseLog",
                "storedProcedureParameters": {}
            },
            "outputs": [
                {
                    "name": "AzureSQLDatasetOutputforProc"
                }
            ],
            "policy": {
                "timeout": "01:00:00",
                "concurrency": 1,
                "retry": 3
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            },
            "name": "StoredProcedureActivityTemplate"
        },
        {
            "type": "Copy",
            "typeProperties": {
                "source": {
                    "type": "SqlDWSource",
                    "sqlReaderQuery": "select * from dbo.DatabaseLog"
                },
                "sink": {
                    "type": "SqlSink",
                    "writeBatchSize": 10000,
                    "writeBatchTimeout": "60.00:00:00"
                }
            },
            "inputs": [
                {
                    "name": "AzureSqlDWInput"
                },
                {
                    "name": "AzureSQLDatasetOutputforProc"
                }
            ],
            "outputs": [
                {
                    "name": "AzureSQLDatasetOutput"
                }
            ],
            "policy": {
                "timeout": "7.00:00:00",
                "concurrency": 1
            },
            "scheduler": {
                "frequency": "Day",
                "interval": 1
            },
            "name": "CopyActivityTemplate"
        }
    ],
    "start": "2018-05-09T00:00:00Z",
    "end": "2018-05-12T00:00:00Z",
    "isPaused": false,
    "hubName": "testdatafactory-v1_hub",
    "pipelineMode": "Scheduled"
}}

1 Ответ

0 голосов
/ 15 мая 2018

Вы можете попробовать ADFv2, он более прост для отладки и имеет инструмент разработки GUI. инструмент интерфейса пользователя https://adf.azure.com

...