Как установить ограничение на пропускную способность пользователя для хранилища isilon

Question

Пользователи могут запускать несколько процессов на кондоре и получать доступ к хранилищу isilon.Некоторые могут злоупотреблять пропускной способностью чтения за счет других.Допустим, что isilon может обрабатывать скорость чтения 10 ГБ / с.Если бы у меня было 3 пользователя с 100 процессами, каждый из которых пытался прочитать 1 ГБ / с, то остальные были бы значительно голодными.Какие решения существуют?Ограничения для одного хоста не работают, так как пользователь прочитал condor.

Answer 1

Существует несколько способов сделать это в HTCondor, в зависимости от характера ваших заданий и вашей системы.

Во-первых, вы можете использовать функцию «Ограничения параллелизма», чтобы глобально ограничить количество выполняемых заданий ввсе пользователи.Каждое задание должно быть объявлено, что оно использует некоторый процент пропускной способности файлового сервера.В конфигурации центрального менеджера вы можете установить предел, скажем

IPSILON_LIMIT = 1000

Затем каждое задание может объявить, что оно использует некоторую часть этой полосы пропускания, добавив в описание своего задания

concurrency_limits = ipsilon: 100

, заявив, что это задание будет использовать 100 из общей доступной пропускной способности 1000.

Второй способ может работать, когда файлы могут быть переданы за один раз с удаленногофайловый сервер в локальный рабочий каталог, работает локально, и возвращается после завершения работы.Если это соответствует вашей модели использования, вы можете посмотреть на собственные плагины для передачи файлов.Затем HTcondor скопирует файлы с сервера в локальный рабочий каталог, но число этих активных передач может быть ограничено для каждого расписания.