Теоретически это возможно. Другое приложение использует OpenGL? Или это просто какое-то приложение X11?
Если это просто приложение X11, вам нужно сделать то, что делает менеджер компоновки, то есть использовать расширение COMPOSITE X для получения содержимого окна, а затем обработать его.
Если это просто приложение OpenGL, и вы можете изменить его, вы можете использовать FBO для рисования всего в текстуре и использовать общую память (SHM) для обмена данными текстуры с другим приложением.