Это зависит от распределения прибывающих событий.
Теория очередей может дать вам формулу (для данного распределения), сколько соединений вам нужно, чтобы вероятность сбоя (в вашем случае не было свободного соединения) была не более определенного процента.
Возможно, вы захотите посмотреть эти заметки (стр. 17), которые дают вам некоторые формулы, например, вероятность того, что у вас одновременно обрабатывается n запросов или у вас непустая очередь ( состояние, которого вы хотите избежать)