Это не совсем оптимизация, но выбор фреймворка здесь действительно важен.Большинство устаревших фреймворков на Java и Python (Django, ..) не предназначены для быстрого запуска, потому что это просто не важно для традиционного хостинга.Подумайте об использовании конкретной платформы App Engine, такой как Tipfy, Kai, Webapp, ... (Python) или slim3, ... (Java).
В идеале вы должны организовать свои данные так, чтобы каждый пользовательский запрос требовал толькоодин вызов хранилища данных, предпочтительно db.get, потому что запросы значительно медленнее.Чтобы достичь этого, вам часто нужно денормализовать ваши данные и поддерживать синхронизацию разных копий с использованием групп сущностей и транзакций.
При выполнении более одного вызова urlfetch или API вы можете ускорить процесс,выполнение вызовов параллельно с использованием неблокирующего (асинхронного) синтаксиса.Кэширование всегда, когда это возможно, также очень важно.
Если вы еще этого не сделали, я рекомендую посмотреть выступления Google по IO (2010 и 2011), в частности Scaling App Engine приложений этого года , которыеочень хорошо описывает лучшие рекомендации на стороне сервера.