Компоненты изменяют размеры из-за того, что они разработаны в стандартном стиле, но затем запускаются под Nimbus. Вы можете просмотреть, как они будут выглядеть, перейдя в окно Инспектора, щелкнув правой кнопкой мыши JFrame / JDialog / etc и выбрав Preview Design -> Nimbus.
Может быть, есть способ создать форму, используя внешний вид Nimbus, но я не знаю ни одного.