Наличие собственной кнопки закрытия - странный интерфейс, и его следует избегать.
Чтобы избавиться от рамки, когда нажата ваша собственная кнопка, вы можете просто сделать:
jFrame.setVisible(false);
или
jFrame.dispose();
если хочешь полностью от него избавиться.
В кадрах, которые вы не хотите выходить из JVM при нажатии кнопки закрытия, укажите:
jFrame.setDefaultCloseOperation(JFrame.DISPOSE_ON_CLOSE);
или
jFrame.setDefaultCloseOperation(JFrame.HIDE_ON_CLOSE);
В зависимости от того, какое поведение вы хотите.