Если вас не волнуют зазубренные края (без сглаживания), вы можете просто использовать расширение XShape (он же «X11 Nonrectangular Window Shape»): это позволяет вам определить «маску» это сокращает область вашего окна. Все, что находится за пределами этой маски, даже если оно попадает в прямоугольную область вашего окна, является прозрачным и сквозным для окон ниже.
Если у вас запущен менеджер окон композитинга (xcompmgr, Compiz и т. Д.), Вы можете дополнительно создать свое окно как 32-битный ARGB и использовать альфа-канал, чтобы смешать края. (Чтобы избежать путаницы, это следует делать вместе с XShape.)