Вы используете соответствующий менеджер раскладки.
Один вариант - использовать панель с горизонтальной BoxLayout
:
Box panel = Box.createHorizontalBox();
panel.add( leftLabel );
panel.add( Box.createHorizontalGlue() );
panel.add( yellowLabel );
Другой вариант - использовать панель с BorderLayout
:
JPanel panel = new JPanel( new BorderLayout() );
panel.add(leftLabel, BorderLayout.LINE_START);
panel.add(yellowLabel, BorderLayout.LINE_END);
Прочтите раздел из учебника по Swing в Менеджеры раскладок для получения дополнительной информации и рабочих примеров.