В OS X нет такого понятия, как «оконный менеджер», и нет открытого интерфейса для его реализации. Функции, которые будет выполнять оконный менеджер X11, разделены между инструментарием GUI (Carbon / Cocoa), приложением Dock и оконным сервером.
Ваш единственный реальный выбор, если вы хотите изменить поведение окон OS X, - это исправление отдельных приложений, Dock (который имеет привилегированное соединение с оконным сервером) и / или оконный сервер. Это потребовало бы большого количества реверс-инжиниринга и почти наверняка сломалось бы в 10.6, но это, безусловно, возможно.