Вы можете заменить свою основную JPanel на JLayeredPanel.Многоуровневая панель позволит вам указать, что некоторые дочерние компоненты должны располагаться над другими дочерними компонентами.
Т.е.:
JLayeredPane pane = new JLayeredPane();
JLabel ontop = new JLabel("On top");
JLabel behind = new JLabel("Behind");
pane.add(ontop, 2, 0);
pane.add(behind, 1, 0);