Компоненты в Swing отображаются в соответствии с менеджером компоновки фрейма. Менеджер макета по умолчанию - BorderLayout, который делит фрейм на пять логических частей: север (вверх), юг (вниз), восток (справа), запад (слева) и центр (все между ними). Компоненты по центру по умолчанию.
Вы можете создавать подкадры для каждой части и назначать им аналогичный менеджер макетов или совершенно другой менеджер макетов. в вашем случае вы захотите создать новый подкадр в южной позиции основного кадра и поместить свою кнопку в одну из его северных, центральных или южных позиций.
Надеюсь, это поможет ...