Обнаружил проблему уже. Это не связано с тем, чтобы быть в полноэкранном режиме или нет. Это произошло потому, что я забыл сказать приложению удалить некоторые экземпляры через некоторое время, они все еще были на экране, когда я добавил еще один большой объект на меньшие, что сделало их невидимыми, но все еще дорогостоящими.