Передать аргументы JVM в API заданий Databricks - PullRequest
Новая
       41

Передать аргументы JVM в API заданий Databricks

1 голос
/ 28 февраля 2020

Я хочу передать аргументы JVM в запрос REST, используя Jobs API в Databricks. Возможно ли это сделать? Поможут любые подсказки.

Что-то вроде -Dconfig-file = app.conf для задания spark.

1 Ответ

1 голос
/ 02 марта 2020

Вы можете использовать атрибут " spark_conf " в заданиях API REST.

spark_conf: Объект, содержащий набор необязательных пользовательских ключей конфигурации Spark пары Вы также можете передать строку дополнительных параметров JVM драйверу и исполнителям через spark.driver.extraJavaOptions и spark.executor.extraJavaOptions соответственно.

Пример: Spark confs: {" spark.speculation ": true," spark.streaming.ui.retainedBatches ": 5} или {" spark.driver.extraJavaOptions ":" -verbose: g c -XX: + PrintGCDetails "}

Как использовать в Jobs API: Чтобы создать кластер с включенным контролем доступа к таблице, укажите следующее свойство spark_conf в теле запроса: 

curl -X POST https://<databricks-instance>/api/2.0/clusters/create -d'
{
  "cluster_name": "my-cluster",
  "spark_version": "5.2.x-scala2.11",
  "node_type_id": "Standard_DS3_v2",
  "spark_conf": {
    "spark.databricks.acl.dfAclsEnabled":true,
    "spark.databricks.repl.allowedLanguages": "python,sql"
  },
  "num_workers": 1,
  "custom_tags":{
     "costcenter":"Tags",
     "applicationname":"Tags1"
  }
}'

Для получения дополнительной информации см. " Примеры API"и" Как добавить конфигурацию свечи".

...