Шейдер не может напрямую провоцировать рендеринг. Это не может заставить OpenGL отображать некоторые данные. Шейдеры являются частью конвейера рендеринга, и этот конвейер идет в одну сторону; зацикливание запрещено.
В оборудовании на основе GL 4.x шейдер теоретически может записывать данные в определенном формате, который будет считываться с помощью одной из функций рендеринга "Косвенный". Но клиентский код, центральный процессор, все равно должен фактически выдать команду рисования.
Вероятно, лучше делать вещи видимости на вычислительном языке, таком как OpenCL. Шейдеры OpenGL способны на это, но они не очень хорошо разработаны, чтобы сделать это интуитивно понятным. OpenCL - это общая вычислительная система, и она предназначена для подобных вещей.