Если ваш прямоугольник представляет собой обычный двумерный прямоугольник, выровненный по оси, вы можете использовать функцию glScissor. В двух словах, он определяет 2D-прямоугольник в экранных координатах, где происходит все рисование.
Если ваш случай более сложный (например, у вас может быть прямоугольник на плоскости внутри трехмерной сцены или около того ...), вы можете сначала нарисовать прямоугольник в буфере трафарета и включить stencil-test для рендеринга линии. Такой подход дает вам неограниченную гибкость в отношении формы, которая ограничивает рисунок, но может быть немного медленнее во время рендеринга и требует больше усилий для настройки.