Агенты сборки не имеют свойства Priority, и контроллер сборки просто выберет одно из доступных агентов сборки в пуле для выполнения вашей сборки.
Использование фильтрации по тегам или именам, как описано здесь , вероятно, помогает, но я понимаю, что это не замена приоритета.