В ваших ActionListeners для кнопки вам нужен код вроде:
panel.add( another panel containing combo box and buttons)
panel.revalidate();
panel.repaint();
или
panel.remove( the current panel containing the remove button)
panel.revalidate();
panel.repaint();