Сколько параллельных запросов может обработать один экземпляр Python Google App Engine?

Question

Сколько потоков / запросов может обрабатывать один экземпляр Python Google App Engine параллельно? Я использую python27 runtime и опция threadsafe включена (true). Существуют ли какие-либо ограничения или условия, которые могут ограничить параллелизм?

Для пояснения: речь идет не о Java или Python GAE SDK.

Answer 1

Степень параллелизма, которую вы получаете, сильно зависит от рабочей нагрузки вашего приложения. Если ваши запросы связаны с процессором, вы будете обрабатывать только один запрос за раз. С другой стороны, если ваши запросы связаны с RPC, вы могли бы потенциально обслуживать десятки одновременных запросов. Тем не менее, есть два ограничения:
1. Размер экземпляра. Экземпляр F1 по умолчанию с частотой 600 МГц может обслуживать только столько одновременных запросов, прежде чем достигнет предела ЦП, перегрузит ваш экземпляр и приведет к значительному увеличению задержки.
2. Существует жесткое ограничение на количество одновременных запросов. Это зависит от реализации и может быть изменено, но на данный момент на python27 это 8.

Answer 2

Хотя я получаю миллионы обращений в день, мой QPS составляет около 2, а мои запросы меньше секунды

Так что не ожидайте слишком большого параллелизма, его максимум 2-3

(невозможно определить значение QPS для вашего варианта использования, это мой вариант использования)