Мой кластер имеет 2 очереди:
default - 50% и не может go вверх.
important - 50% и может go за 50.
См. мою конфигурацию ниже:
<configuration>
<property><name>yarn.scheduler.capacity.root.queues</name><value>default,important</value></property>
<property><name>yarn.scheduler.capacity.root.capacity</name><value>100</value></property>
<property><name>yarn.scheduler.capacity.root.default.capacity</name><value>50</value>
<property><name>yarn.scheduler.capacity.root.important.capacity</name><value>50</value>
<property><name>yarn.scheduler.capacity.root.default.maximum-capacity</name><value>50</value>
<property><name>yarn.scheduler.capacity.resource-calculator</name><value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
<property><name>yarn.scheduler.capacity.root.support.user-limit-factor</name><value>2</value>
</configuration>
Проблема в том, что очередь important не может go превысить свою выделенную емкость (особенно vcores), когда запуск одной искры