«Пользователи» - довольно бессмысленный термин с точки зрения HTTP. Важно то, сколько запросов вы можете обслужить за определенный промежуток времени. Это зависит, прежде всего, от того, сколько времени потребуется приложению для обработки данного запроса. Очевидно, что если на обработку запроса у вас уходит 200 миллисекунд, то один экземпляр может обслуживать не более 5 запросов в секунду.
Когда запрос обрабатывается App Engine, он добавляется в очередь. Каждый раз, когда экземпляр доступен для работы, он берет самый старый элемент из очереди и обрабатывает этот запрос. Если время ожидания запроса в очереди («ожидающая задержка») превышает пороговое значение, установленное в консоли администратора, планировщик запустит другой экземпляр и начнет отправлять запросы в него.
Это явно упрощено, но дает вам общее представление о том, как работает планировщик.