Azure Databricks: как добавить конфигурацию Spark в кластер Databricks

Question

Я использую кластер Spark Databricks и хочу добавить настроенную конфигурацию Spark.
По этому вопросу есть документация Databricks, но я не понимаю, как и какие изменения я должен внести. Может кто-нибудь pls поделится примером для настройки кластера Databricks.
Есть ли способ посмотреть конфигурацию по умолчанию для Spark в кластере Databricks.

Answer 1

Для точной настройки заданий Spark вы можете предоставить настраиваемые свойства Spark в конфигурации кластера.

1. На странице конфигурации кластера щелкните переключатель Дополнительные параметры.
2. Перейдите на вкладку Spark.

[ИЛИ]

Когда вынастройте кластер с помощью API Clusters, задайте свойства Spark в поле spark_conf в запросе «Создать кластер» или «Изменить запрос кластера».

Чтобы задать свойства Spark для всех кластеров, создайте глобальный сценарий инициализации:

%scala
dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
  |#!/bin/bash
  |
  |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
  |[driver] {
  |  "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
  |}
  |EOF
  """.stripMargin, true)

Ссылка: Блоки данных - конфигурация Spark

Пример: Вы можете выбрать любую конфигурацию искры, которую хотите протестировать, здесь я хочууказать " spark.executor.memory 4g" , и пользовательская конфигурация выглядит следующим образом.

После создания кластера, вы можете проверить результат пользовательской конфигурации.

Надеюсь, это поможет.