Это очень старый вопрос, однако для тех, кто находит этот пост:
Проблема с использованием,
JFrame.setDefaultLookAndFeelDecorated(false);
, чтобы исправить проблему без отделки, это то, что ВСЕ ваши диалоги используют внешний вид по умолчанию, когда они ДЕКОРИРОВАНЫ.
Если вы просто хотите, чтобы одно диалоговое окно было неокрашенным, не затрагивая все остальные диалоговые окна, вызовите его в своем диалоговом окне после установки его без украшений:
getRootPane().setWindowDecorationStyle(JRootPane.NONE);