Вы хотите использовать систему X Window, также известную как X11, в качестве графической платформы.Его клиентская библиотека называется Xlib.Платформа поддерживает многоугольные области.
Существует множество библиотек, написанных поверх Xlib (Gtk, Qt, wxWindows и других), но вы всегда можете использовать низкоуровневый API Xlib напрямую с любой из них.Qt даже поддерживает эллиптические области.Я не знаю деталей, но я думаю, что это реализовано поверх полигональных областей X11.