Из того, что я знаю, менеджер GridLayout изменяет размеры всех ячеек до одного размера. Зная это, вы можете использовать его в любом случае, просто добавив компонент, который вы хотите оставить неизменным, на панель, а затем добавьте эту панель в ячейку.
Или используйте другой менеджер компоновки, мой любимый - TableLayout, где вы можете указать, какие столбцы / строки должны заполнять пустое пространство, где остальные будут оставаться в своем предпочтительном размере.
Удачи, Боро