Конфигурация памяти драйвера набора Spark в Databricks

Question

Я работаю над Azure кирпичами данных. Мои спецификации узла драйвера и рабочего узла: 14,0 ГБ памяти, 4 ядра, 0,75 DBU Standard_DS3_v2.

Мой ноутбук pyspark выходит из строя с ошибкой Java пространства кучи. Я проверил онлайн, и одним из предложений было увеличить память водителя. Я пытаюсь использовать следующий параметр conf в записной книжке

spark.conf.get("spark.driver.memory")

, чтобы получить память драйвера. Но моя ячейка ноутбука выходит из строя с ошибкой.

java.util.NoSuchElementException: spark.driver.memory

Есть идеи, как проверить память драйвера и изменить его значение?

Answer 1

Вы можете установить конфигурацию spark при настройке кластера на Databricks. Когда вы создаете кластер и разворачиваете меню «Advanced Options», вы видите, что есть раздел «Spark Config». В этом поле вы можете установить необходимые конфигурации.

Для получения дополнительной информации вы всегда можете проверить документацию страница из Azure Базы данных.