Общий код для добавления компонентов во время выполнения:
panel.add( someComponent );
panel.revalidate();
panel.repaint();
Однако я считаю, что NetBeans использует GroupLayout, что вызовет проблему.Вам нужно понять, как работают все ограничения, а затем указать правильные ограничения при использовании метода add (...).
Поэтому я предлагаю НЕ использовать NetBeans для разработки вашей формы и научиться использовать LayoutManager.самостоятельно, вы будете полностью контролировать макет, а добавление компонентов будет таким же простым, как и в приведенном выше коде.