Наш кластер настроен на пряжу с несколькими личными и общими очередями.Предполагается, что одна из общих очередей, которую мы пытаемся настроить, имеет низкий вес / приоритет + приоритетное прерывание, но максимальный доступный ресурс.Намерение состоит в том, что мы хотим поместить большие задания с низким приоритетом в эту очередь и использовать много ресурсов, когда кластер работает тихо, но щедро отдавать ресурсы, когда кластер занят.
Однако мычасто обнаруживают, что большие задания зажигания, выполняющиеся в этой очереди, вместо этого блокируют большую часть кластера с зарезервированной памятью.Например, задание может обрабатываться с 4 ТБ оперативной памяти, но затем зарезервировано еще 5 ТБ, которое полностью не используется активным заданием и не может использоваться никаким другим заданием с более высоким приоритетом в кластере.
ЕстьЕсть ли способ избежать этого?Ограничение максимальных исполнителей для работы, кажется, не имеет значения.Даже если максимальное количество исполнителей * (память исполнителя + накладные расходы) составляет всего 4 ТБ, очередь все равно резервирует 5 ТБ.Единственная ссылка, которую мне удалось найти по этой теме - это переполнение стека здесь .