Первое: поговорите с системными администраторами вычислительного пула. Планировщики работы в масштабах предприятия стали довольно распространенным компонентом в инфраструктуре в наши дни. Как правило, эти планировщики не учитывают загрузку системы.
Если вышеперечисленное не приводит к хорошему решению, вы должны тщательно обдумать, какую нагрузку ваши рабочие нагрузки будут оказывать на машину: ваши работы могут нагружать процессор, потреблять большие объемы памяти, создавать много сети или диска IO активность. Следовательно, определение того, должна ли ваша работа начинаться, может зависеть от большого количества измерений, некоторые из которых вы не сможете выполнить как обычный пользователь (в некоторой степени зависит от того, какую ОС вы используете, и от того, насколько строгой является безопасность). В любом случае: вы сможете учесть только нагрузку при запуске задания. Очевидно, что если бы каждый пользователь сделал это, вы сразу вернулись на круги своя ...
Может быть, лучше узнать у своего системного администратора, есть ли у них какие-то элементы управления ресурсами (например, проекты в Solaris), с помощью которых они могут убедиться, что ваши пакеты не разрушают узлы в вычислительном пуле. Затем запишите свои пакетные задания таким образом, чтобы они могли справляться с отклонением запросов ОС на запросы ОС.
РЕДАКТИРОВАТЬ: Что касается распределенной природы: постановка в очередь заданий и наличие клиентов на всех узлах указывают на одну и ту же очередь, потребляя столько, сколько они могут в контексте элементов управления ресурсами ...