Вы не можете напрямую сделать это с X11.Он не знает, что такое прозрачность.
Чтобы нарисовать полупрозрачное окно, ваш оконный менеджер (который должен быть оконным менеджером COMPOSITE) должен предоставить эту функцию.Поэтому попробуйте изучить свои спецификации WM и посмотреть, как и как они справляются с прозрачностью.