Запустите сценарий DataLakeAnalyticsU-SQL в конвейере фабрики данных - PullRequest
Новая
       24

Запустите сценарий DataLakeAnalyticsU-SQL в конвейере фабрики данных

0 голосов
/ 20 сентября 2018

Я хочу Чтобы создать конвейер, содержащий скрипт U-SQL, который объединяет несколько файлов журнала в хранилище DataLake Azure в один файл, я попытался сделать это, создав текстовый файл в своем хранилище, а затем добавив его в конвейер scriptpath , но я получаю сообщение об ошибке, и я обнаружил, что ADL не поддерживается в конвейере, поэтому я хочу написать U-SQL-скрипт в конвейере, используя script имущество.Я пытался сделать это с помощью этого сценария, но я получаю сообщение об ошибке и не могу развернуть его, чтобы кто-нибудь мог помочь в этом?Вот мой сценарий конвейера: 

    {
        "name": "RG-GatherData",
        "properties": {
            "description": "description",
            "activities": [
                {
                    "name": "DataLakeAnalyticsUSqlActivityTemplate",
                    "type": "DataLakeAnalyticsU-SQL",
                    "linkedServiceName": "AzureDataLakeAnalyticsLinkedService",

                    "typeProperties": {
                        "script": "
    @log = EXTRACT ["VersionID"] int,
               ["NodeName"] string,
               ["UpdateIng Area"] string,
               ["ActionDate"] string,
               ["UserName"] string,
               ["Code part Type"]  string,
               ["DocCode"] string,
               ["Header Entity Id"] string,
               ["Common Entity Id"] string,
               ["Attribute Name"] string,
               ["Latest Update Value"] string,
               ["Previous Update Value"] string  
          FROM @in
          USING Extractors.Csv(skipFirstNRows: 1);

OUTPUT @log
TO @out
USING Outputters.Csv();

                        ,
                        "degreeOfParallelism": 3,
                        "priority": 100,
                        "parameters": {
                            "in": "/RowLogs/InPut/RoyalGardens/{*}.csv",
                            "out": "/RowLogs/OutPut/RoyalGardens/Alllog.csv"
                        }
                    },
                    "policy": {
                        "concurrency": 1,
                        "executionPriorityOrder": "OldestFirst",
                        "retry": 3,
                        "timeout": "10:00:00"
                    },
                    "scheduler": {
                        "frequency": "Day",
                        "interval": 1
                    }
                }
            ],
            "start": "2018-09-20T00:06:00Z",
            "end": "2099-12-30T22:00:00Z"
        }
    }

1 Ответ

0 голосов
/ 28 сентября 2018

Сохраните сценарий U-SQL в хранилище BLOB-объектов и создайте ссылку на него через связанную службу хранилища BLOB-объектов.

...