Я хочу запустить 4 сервера, и я хотел бы отправить первые 10 запросов первому, а затем отправить следующие десять запросов второму, и так далее.Невзвешенный циклический перебор отправил бы один запрос первому, затем один второму и т. Д.
Если бы я применил вес сервера 10 к каждому из 4 серверов, получу ли я такое поведение?Что первые десять запросов отправляются на первый сервер, следующие десять - на второй, и так далее до первого сервера?Или весы будут «отменены», и Nginx будет округлять робин, как если бы они все были установлены на вес 1?
Если нет, есть ли другой способ получить такое поведение?
Я спрашиваю, потому что эти серверы делают вывод на моделях ML и могут «группировать» несколько запросов вместе и делать один вывод, а не делать один вывод на запрос.При этом мы можем получить 10-кратное ускорение от одного графического процессора.Но кажется сомнительным, что мы смогли бы масштабировать до нескольких графических процессоров без такого планирования.При таком планировании мы могли бы получить почти линейное масштабирование для каждого дополнительного графического процессора.
Спасибо