Теперь, когда вопрос более понятен, можно дать ответ.
Основная проблема заключается в том, что содержимое кадрового буфера и параметры фрагмента (позиция) недоступны в фрагментном шейдере. Действительно, вы не можете выполнить операцию сравнения при рендеринге.
Вы должны визуализировать модель в текстуре (выполнить поиск в текстуре, используя объекты кадрового буфера), а затем запустить фрагментный шейдер (возможно, используя GL_texture_rectangle) в другом представлении с окном просмотра того же размера текстуры .
Фрагментный шейдер должен иметь в качестве входных данных две текстуры: первую текстуру (содержащую обнаруженные ребра) и модель каркаса с текстурой. Затем можно легко выполнить сложные вычисления в фрагментном шейдере, как только вы получите доступ к каждому тексту обеих текстур.
Надеюсь, это поможет вам.