Несколько вещей, которые я бы изучил, могут работать в зависимости от того, что вы делаете для своей сцены. Первое, что я бы предложил, это выборка окклюзии (если она применима) - в основном, только рендеринг объектов GameObject, которые видны в текущий момент времени. У вас все еще будет ссылка на GameObject в вашей сцене, однако эти ссылки будут отображаться только в том случае, если они видны камере. Есть множество способов сделать это, Unity имеет запеченный метод, если вы предпочитаете, но я видел другие методы вокруг.
https://docs.unity3d.com/Manual/OcclusionCulling.html
Если они все должны быть в поле зрения,тогда могли бы быть некоторые способы сделать это легче, если бы все это было не в моей голове, когда я на работе, но, может быть, вы могли бы немного выдумать материал, который нужно визуализировать? Это означает, что каждой сфере необходимо нанести материал на нее, или вы могли бы уйти с 1/2 или 1/3 сфер, имеющих материал? Я не уверен, что вы делаете в своей сцене, но нужно ли отображать фактические рендереры Mesh и Texture, или вы могли бы просто избежать порождения части ваших сфер в качестве одних только коллайдеров?
Просто пища для размышлений, дайте мне знать, что вы думаете! Я рад помочь мозговому штурму.