Azure Datalake Analytics U- SQL с Azure Datalake Storage Gen 2 - PullRequest
Новая
       114

Azure Datalake Analytics U- SQL с Azure Datalake Storage Gen 2

1 голос
/ 01 августа 2020

Вопрос: каков путь вперед для использования ADLA (U- SQL) с ADLS (Gen2)?

Я использовал Azure Data Lake Analytics (U - SQL) заданий через Azure фабрику данных (ADF v2) с Azure хранилище озера данных поколения 1 уже довольно давно в восточной части США2

Я планировал развернуть еще один экземпляр для обслуживания канадских клиентов и хотел настроить Azure Data Lake Store Generation 1

Что я пробовал:

  • Мне не удалось создать Azure учетную запись Datalake Storage Gen 1 в Центральной Канаде (или любой другой канадский регион в этом отношении)
  • Я попытался перейти на Azure Datalake Storage Gen2, но затем столкнулся с проблемой, из-за которой активность Azure Data Factory - U- SQL не могла быть связана с Связанная служба Gen2 Storage для получения U- SQL скрипта

Я наткнулся на несколько ссылок об этом топе c:

которые по сути говорят, что U - SQL / ADLA не будет поддерживать ADLS Gen2

Я немного запутался, так как официальной документации по направлению ADLA нет

1 Ответ

0 голосов
/ 03 августа 2020

Обновление:

Это структура моей активности u- sql. Он может работать и обрабатываться успешно: (Вы можете попробовать создать новое действие json из u- sql, чтобы заменить действие u- sql.) 

{
    "name": "pipeline4",
    "properties": {
        "activities": [
            {
                "name": "U-SQL1",
                "type": "DataLakeAnalyticsU-SQL",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "scriptPath": "test1/u-sql.txt",
                    "scriptLinkedService": {
                        "referenceName": "LinkTo0730",
                        "type": "LinkedServiceReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureDataLakeAnalytics1",
                    "type": "LinkedServiceReference"
                }
            }
        ],
        "annotations": []
    }
}

Исходный ответ :

Мне не удалось создать учетную запись Azure Datalake Storage Gen 1 в Центральной Канаде (или любом канадском регионе, если на то пошло)

Вкл. С моей стороны, я также не могу создать datalake gen1 в регионе Центральная Канада. Это предел моей подписки. Но вы можете проверить диспетчер ресурсов на своей стороне, может быть, сможете. (Azure озеро данных gen1 - это Microsoft.DataLakeStore)

1

Resource Manager is supported in all regions, but the resources you deploy might not be supported in all regions. In addition, there may be limitations on your subscription that prevent you from using some regions that support the resource. The resource explorer displays valid locations for the resource type.

Please have a check of this document:

https://docs.microsoft.com/en-us/azure/azure-resource-manager/management/resource-providers-and-types

Я попытался перейти на Azure Datalake Storage Gen2, но затем столкнулся с проблемой, из-за которой активность Azure Data Factory - U- SQL не могла быть связана со связанной службой Gen2 Storage для получения U- SQL script

С моей стороны, кажется, он читает сценарий u- sql в gen2, вы получили ошибку?

...