Просто дикая догадка, но, возможно, страницы памяти вашего приложения выгружаются, когда оно простаивает, и возвращаются обратно, когда вы возобновляете.
Либо это, либо ваш поток пользовательского интерфейса блокирует что-то. Нам нужно больше деталей, чтобы действительно поставить диагноз.