Просто: переопределите Xlib внутри вашей программы или хотя бы ту ее часть, которая нужна вам, чтобы захватить экран. Вам следует начать с чтения протокола X .
Редактировать: Возможно, вам следует прочитать страницу Википедии по протоколу X перед формальной спецификацией. Вам нужно отправить запрос GetImage
X, как описано на странице 61 PDF-файла, ссылка на который приведена выше.