Azure Data Factory V2 - ввод и вывод - PullRequest
Новая
       90

Azure Data Factory V2 - ввод и вывод

2 голосов
/ 11 ноября 2019

Я пытаюсь воспроизвести следующую архитектуру, основанную на следующем репозитории github: https://github.com/Azure/cortana-intelligence-price-optimization

Проблема заключается в части, связанной с АПД, поскольку в руководстве используется старая версия АПД:Я не знаю, как отобразить в ADF v2 свойства «input» и «output» одного действия, чтобы они указывали на набор данных.

Конвейер выполняет искровое действие, которое выполняет только выполнениескрипт Python, и тогда я думаю, что он должен записать данные в набор данных, который я уже определил.

Вот файл json конвейера ADF V1 внутри руководства, который я не могу скопировать: 

    "activities": [
    {
      "type": "HDInsightSpark",
      "typeProperties": {
        "rootPath": "adflibs",
        "entryFilePath": "Sales_Data_Aggregation_2.0_blob.py",
        "arguments": [ "modelsample" ],
        "getDebugInfo": "Always"
      },
      "outputs": [
        {
          "name": "BlobStoreAggOutput"
        }
      ],
      "policy": {
        "timeout": "00:30:00",
        "concurrency": 1,
        "retry": 1
      },
      "scheduler": {
        "frequency": "Hour",
        "interval": 1
      },
      "name": "AggDataSparkJob",
      "description": "Submits a Spark Job",
      "linkedServiceName": "HDInsightLinkedService"
    },
...