Как создать / запустить кластер из веб-активности «кирпичи данных», запустив «API-блоки данных» rest api - PullRequest
Новая
       114

Как создать / запустить кластер из веб-активности «кирпичи данных», запустив «API-блоки данных» rest api

0 голосов
/ 22 марта 2020

У меня есть 2 требования:

1: У меня есть clusterID. Мне нужно запустить кластер из "Wb Activity" в ADF. Параметры действия выглядят следующим образом: 

url:https://XXXX..azuredatabricks.net/api/2.0/clusters/start
body: {"cluster_id":"0311-004310-cars577"}
Authentication: Azure Key Vault Client Certificate

При выполнении этого действия возникает ошибка ниже: 

"errorCode": "2108",

"message": "Error calling the endpoint 
'https://xxxxx.azuredatabricks.net/api/2.0/clusters/start'. Response status code: ''. More 
 details:Exception message: 'Cannot find the requested object.\r\n'.\r\nNo response from the 
 endpoint. Possible causes: network connectivity, DNS failure, server certificate validation or 
timeout.",

"failureType": "UserError",
"target": "GetADBToken",
"GetADBToken" is my activity name.

Вышеупомянутый механизм безопасности работает для других связанных с Databricks действий, таких как выполнение jar, который уже установлен в моем кластере блоков данных.

2: я хочу создать новый кластер со следующими настройками: 

url:https://XXXX..azuredatabricks.net/api/2.0/clusters/create

    body:{

      "cluster_name": "my-cluster",
      "spark_version": "5.3.x-scala2.11",
      "node_type_id": "i3.xlarge",
      "spark_conf": {
      "spark.speculation": true
  },
    "num_workers": 2
}

После вызова этого API, если создание кластера прошло успешно Я хотел бы захватить идентификатор кластера в следующем упражнении.

Итак, каковы будут результаты вышеуказанного действия и как я могу получить к ним доступ в немедленном действии ADF?

1 Ответ

0 голосов
/ 23 марта 2020

Для # 2) Можете ли вы проверить, изменили ли вы версию "spark_version": "5.3.x-scala2.11" на "spark_version": "6.4.x-scala2.11"

, если это помогает

...