Если мы создаем несколько сеансов Spark с использованием метода newSession (), как распределяется память драйвера между несколькими сеансами Spark

Question

В своем приложении Spark я создаю несколько (2 - 3) сеансов зажигания с помощью метода newSession (). При подаче заявок я настраиваю spark.driver.memory на 24g.

Как эта память будет распределена между двумя сеансами зажигания, если они обрабатывают 2 разных набора данных параллельно. Спасибо.

Answer 1

Сеансы используются для управления конфигурацией, а не для управления ресурсами или параллельной обработки в приложении. Нет встроенного механизма для распределения ресурсов, и они являются частью одного и того же приложения с точки зрения менеджера.

Это означает, что «первым пришел - первым получил» - разделение отсутствует и, однако, он занимает ресурсы в первую очередь.