Для этого вы должны использовать Qt.FramelessWindowHint, а затем создать свои собственные кнопки Max, Min, Close в качестве виджетов и добавить их туда. У меня есть хороший рабочий инструментарий для следующих программ: http://traipse.assembla.com/spaces/ghostqt
В вашем случае вы должны переклассифицировать resizeEvent, чтобы вы могли изменить флаги. Если окно развернуто, вам не нужно беспокоиться о его перемещении, но если оно не развернуто, вы можете удалить флаг Qt.FramelessWindowHint и вернуть строку заголовка; как и в Chrome.
Это то, что вы ищете?