Мы используем кластер HDInsight spark 2.3.Мы можем устанавливать и настраивать конфигурации Spark и Yarn, такие как отсутствие исполнителей, максимальное выделение памяти, max vcores и т. Д. Из ambari.
Мы хотели бы динамически изменять эти свойства в зависимости от пользователей, работающих и создающих контекст искры.
Можно ли настроить эти конфигурации на основе пользовательских уровней в кластере.
Example : User1 gets 50GB of Total Vmemory allocated with 7 vcores,
User2 gets 100GB of Total Vmemory allocated with 10 cores etc.
Заранее спасибо.