Вы можете реализовать свою собственную FocusTraversalPolicy (или расширить, например, ContainerOrderFocusTraversalPolicy) с помощью метода accept, который просто не , как ваша кнопка.
JFrame frame = new JFrame();
... /* create other components */
frame.setFocusTraversalPolicy(new ContainerOrderFocusTraversalPolicy() {
public boolean accept(Component c) {
return super.accept(c) && c!=iDontLikeYouButton;
}
});