Случайное построение деревьев BSP, пока вы не наткнетесь на хорошее, будет действительно, очень неэффективно.
Вместо того, чтобы выбрать три случайным образом для использования в качестве разделенной плоскости, вы хотите опробовать несколько (может быть, все, или, может быть, случайную выборку) и выбрать один согласно некоторой эвристике. Эвристика, как правило, основана на (а) степени сбалансированности результирующих дочерних узлов и (б) количестве трис, которые она будет разделять.
Вы можете компенсировать производительность и качество, рассматривая меньшую или большую выборку трис в качестве возможных расщепленных плоскостей.
Но, в конце концов, вы не можете надеяться получить абсолютно оптимальное дерево для любых реальных данных, поэтому вам, возможно, придется согласиться на «достаточно хорошее».