Перед созданием:
Вы можете установить переменную среды при создании кластера.
Нажмите Дополнительные параметры => Введите Переменные среды .
После создания:
Выберите кластер => нажмите Изменить => Дополнительные параметры => Изменить или ввести новые Переменные среды => Подтвердить и перезапустить .
ИЛИ
Вы можете достичь желаемых результатов, добавив мои объявления переменных среды в файл / databricks /искра / CONF / spark-env.sh.Вы можете изменить файл инициализации следующим образом:
%scala
dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
|#!/bin/bash
|
|cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
|[driver] {
| "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
|}
|EOF
""".stripMargin, true)
Для получения дополнительной информации см. « Блоки данных - Конфигурация Spark ».
Надеюсь, это поможет.