Стилизация стандартного QDockWidget с вашим стилем, похоже, не влияет на размер значков в Win 7 или Ubuntu 10.14 с использованием Qt4.7.
Если присмотреться к изображениям до и после, разница, похоже, в высоте - значки имеют одинаковую базовую линию, а панель инструментов - одинаковую высоту. Если явное изменение высоты не сработало, мне интересно, не было ли где-нибудь введено вертикальное заполнение? Есть ли в приложении другие стили для Mac?
Вы можете попробовать явно установить padding: 0 в этом стиле. Ноль должен быть по умолчанию, поэтому многие ничего не меняют.