Добавьте свои кнопки и метки в JPanel, и тогда вы сможете просто сделать JPanel невидимым, чтобы скрыть их всех одним вызовом.
jPanel.setVisible(false);
В качестве альтернативы , добавьте свои кнопки и метки в список JComponent, а затем выполните цикл по нему:
List<JComponent> list = new ArrayList<JComponent>();
list.add(button);
list.add(label);
for(JComponent c : list){
c.setVisible(false);
}