Это не совсем ответ, но это слишком много для комментария.
Я попытался воспроизвести эту проблему и наблюдал следующие эффекты, используя "Live Visual Tree" и "Live Property Explorer" windows в отладчике.
Явное указание GroupSizeDefinitions
<RibbonGroup Style="{StaticResource groupStyle}" GroupSizeDefinitions="{StaticResource groupSize}" />
Вычеркнуто GroupSizeDefinitions в стиле, и используется локальное определение
Указание GroupSizeDefinitions в стилях
<RibbonGroup Style="{StaticResource groupStyle}"/>
Проводник свойств Live показывает локальное определение, которое в Мое мнение отсутствует, также вычеркнуто.
Фактические определения GroupSize, которые фактически используются, находятся под заголовком Принуждение .
Боюсь, что не могу этого объяснить, но, может быть, кто-то другой сможет.