Какова наилучшая политика планировщика заданий для приоритезации небольших заданий HPC для слабомасштабных тестов? - PullRequest
0 голосов
/ 25 сентября 2019

Я заинтересован в проведении слабых тестов масштабирования на кластере HPC.Чтобы добиться этого, я провел несколько небольших тестов на 1,2,4,8,16,32,64 узлах, причем каждое моделирование занимало от минуты до максимума 1 час.Однако задания остаются в очереди (очередь на 1 час) в течение нескольких дней, прежде чем станут доступны результаты теста.

У меня есть два вопроса:

  1. Есть ли способ расставить приоритеты заданий в планировщике заданий, учитывая, что большинство тестов занимают меньше минуты, а мне приходится ждатьнесколько дней?

  2. Может и в какой степени такая политика планирования работы может привести к злоупотреблению ресурсами HPC.Рассмотрим гипотетический пример моделирования HPC на 32 узлах, который разделен на несколько небольших 1-часовых имитаций, которые получают приоритеты из-за решения, представленного в пункте 1. выше?

Примечание:Система планирования и управления заданиями, используемая в центре высокопроизводительных вычислений, MOAB .Каждый узел кластера оборудован 2 процессорами Xeon 6140 с тактовой частотой 2,3 ГГц (Skylake), по 18 ядер в каждом.

1 Ответ

0 голосов
/ 25 сентября 2019

Планировщик Moab fairshare может делать то, что вы хотите, или, если он не работает «из коробки», может разрешить настройку для определения приоритетности заданий в диапазоне, который вас интересует: http://docs.adaptivecomputing.com/mwm/7-1-3/help.htm#topics/fairness/6.3fairshare.html.

...