Вы можете добавить EmptyBorder, используя CompoundBorder для переноса как текущей границы, так и emtpy. Пустая рамка не будет отображаться, но позволит вам определить поле для рамки с помощью вставок.
Обоснование содержимого панели будет зависеть от используемого там менеджера макета. У вас также есть BoxLayout внутри панели?
Редактировать
Действительно хороший и простой в использовании менеджер раскладок - это MigLayout . Это позволяет определять пользовательские вставки, выравнивание и т. Д. Встроенными и использовать только один менеджер компоновки.