Выполнять скрипты Python в Azure DataFactory

Question

Мои данные хранятся в BLOB-объектах, и я написал скрипт на Python для выполнения некоторых вычислений и создания другого CSV. Как я могу выполнить это в фабрике данных Azure?

Answer 1

Другой вариант - использование действия DatabricksSparkPython.Это имеет смысл, если вы хотите уменьшить масштаб, но может потребовать некоторых модификаций кода для поддержки PySpark.Причиной причины является рабочая область Azure Databricks.Вы должны загрузить свой скрипт в DBFS и запустить его через фабрику данных Azure.В следующем примере запускается сценарий pi.py:

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksSparkPython",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
             "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "pythonFile": "dbfs:/docs/pi.py",
            "parameters": [
                "10"
            ],
            "libraries": [
                {
                    "pypi": {
                        "package": "tensorflow"
                    }
                }
            ]
        }
    }
}

Подробнее см. В документации .

Answer 2

Могучий. Вы можете использовать пользовательские действия Azure Data Factory V2 для своих требований. Вы можете напрямую выполнить команду для вызова скрипта Python, используя Custom Activity.

Пожалуйста, обратитесь к этому образцу на GitHub.

Надеюсь, это поможет вам.