Не думаю, что вы найдете что-то подобное. Floodfill в некоторой степени привязан к пиксельной графике, и это плохо сочетается с OpenGl / 3d.
Если у вас есть какая-то концепция пикселя для 3d, я думаю, что адаптация 2D-алгоритма не должна быть ракетостроением. Я просто сомневаюсь, что кто-то нашел это полезным до сих пор.
Может быть, что-то вроде октреев заслуживает дальнейшего чтения?