Вот и все. Если ваше приложение какое-то время не использовалось, App Engine меняет его, пока не поступит другой запрос.
Когда это происходит, он загружает все JAR-файлы, которые требуются вашему приложению, что может занять очень много времени, в некоторых случаях свыше 10-15 + секунд.
У меня нет опыта работы с JRuby, но на этой странице есть несколько советов о том, как сократить время холодного запуска вашего приложения. Советы должны быть полезны, даже если вы не пишете строго ванильную Java.
По сути, просто не включайте JAR-файлы, на которые ваше приложение не сильно полагается.