Установите цвет фона на прозрачный, а границу - на экземпляр EmptyBorder.
Например,
JButton button = new JButton();
button.setBackground(null);
button.setOpaque(false);
button.setBorder(new EmptyBorder());
Текст будет перемещаться вверх и вниз при нажатии кнопки, иКнопка все еще может быть «включена» нажатием, удержанием и «снятием с охраны» путем перемещения мыши из области кнопок.
Если вы не хотите этого поведения, то, вероятно, вы не хотите использоватькнопку, и вместо этого используйте реальный ярлык.