Создайте новый кластер в Databricks, используя databricks-cli

Question

Я пытаюсь создать новый кластер в Databricks на Azure, используя databricks-cli.

Я использую следующую команду:

databricks clusters create --json '{ "cluster_name": "template2", "spark_version": "4.1.x-scala2.11" }'

И возвращаю эту ошибку:

Error: {"error_code":"INVALID_PARAMETER_VALUE","message":"Missing required field: size"}

Я не могу найти документацию по этому вопросу, был бы рад получить помощь.

Answer 1

Я нашел правильный ответ здесь .

Правильный формат для запуска этой команды в Azure:

databricks clusters create --json '{ "cluster_name": "my-cluster", "spark_version": "4.1.x-scala2.11", "node_type_id": "Standard_DS3_v2", "autoscale" : { "min_workers": 2, "max_workers": 50 } }'