Как установить память исполнителя в спарк во время выполнения

Question

Я знаю, как заранее установить память исполнителя, чтобы во время спарка отправлять через --executor-memory, а также настраивать в конфигурационном файле, используя spark.executor.memory. Но мой вопрос, как установить память исполнителя при выполнении приложения spark- scala во время выполнения.

Answer 1

Использование сеанса spark getOrCreate, как в этой ссылке => https://spark.apache.org/docs/2.4.0/api/scala/#org. apache .spark. sql .SparkSession

Пример:

SparkSession.builder
  .master("...")
  .appName("Word Count")
  .config("spark.executor.memory", "2g")
.getOrCreate()