Как установить переменную среды в блоках данных? - PullRequest
0 голосов
/ 02 июля 2019

Простой вопрос, но я не могу найти простое руководство о том, как установить переменную среды в Databricks. Кроме того, важно ли установить переменную окружения как для драйвера, так и для исполнителей (и вы сделаете это через spark.conf)? Спасибо

1 Ответ

0 голосов
/ 03 июля 2019

Перед созданием:

Вы можете установить переменную среды при создании кластера.

Нажмите Дополнительные параметры => Введите Переменные среды .

enter image description here

После создания:

Выберите кластер => нажмите Изменить => Дополнительные параметры => Изменить или ввести новые Переменные среды => Подтвердить и перезапустить .

enter image description here

ИЛИ

Вы можете достичь желаемых результатов, добавив мои объявления переменных среды в файл / databricks /искра / CONF / spark-env.sh.Вы можете изменить файл инициализации следующим образом:

%scala
dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
  |#!/bin/bash
  |
  |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
  |[driver] {
  |  "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
  |}
  |EOF
  """.stripMargin, true)

Для получения дополнительной информации см. « Блоки данных - Конфигурация Spark ».

Надеюсь, это поможет.

...