Вместо добавления JButton непосредственно на панель инструментов, создайте Action и добавьте вместо него действие.
Панель инструментов создаст соответствующий JButton, который выглядит правильно.
Кроме того, установите toolbar.setRollover (true), который сделает все кнопки плоскими, кроме случаев, когда мышь находится над ней.
Да, и если вы не хотите, чтобы он был плавающим, установите toolbar.setFloatable (true).
Эти три вещи, и при правильном L & F панель инструментов обычно выглядит очень профессионально
Вообще говоря, мы не должны сами разбираться с полями кнопок, если не пытаемся сделать что-то необычное.