Я работаю над системой, которая использует несколько сотен рабочих параллельно (физические устройства оценивают небольшие задачи).Некоторые работники работают быстрее, чем другие, поэтому мне было интересно, какой самый простой способ загрузить на них задачи балансировки без априорного знания их скорости.
Я думал о том, чтобы отслеживать количество задач, над которыми работает работник.с простым счетчиком, а затем сортировать список, чтобы получить работника с наименьшим количеством активных задач.Таким образом, медленные работники могли бы выполнять некоторые задачи, но не замедлять работу всей системы.Причина, по которой я спрашиваю, состоит в том, что текущий метод циклического перебора заставляет некоторых очень медленных работников (в 100 раз медленнее других) продолжать накапливать задачи и блокировать новые.
Это должен быть простойвопрос сортировки списка по текущему количеству активных задач, но так как я буду сортировать список несколько раз в секунду (среднее время работы для задачи меньше 25 мс), я боюсь, что это может быть серьезным узким местом.Таким образом, существует простая версия получения работника с наименьшим количеством задач без необходимости сортировки снова и снова.
РЕДАКТИРОВАНИЕ : задачи передаются рабочим через открытое соединение TCP,Поскольку зависимости между задачами довольно сложны (исключительное использование ресурсов), допустим, что все задачи назначены для начала.Как только задача возвращается от работника, все задачи, которые больше не блокируются, ставятся в очередь, и новая задача переносится на работника.Рабочая очередь никогда не будет пустой.