Я не совсем уверен, как выглядит ваш код, но вот довольно общее «решение» (не проверено):
for (ActionListener al : super.getThatButton().getActionListeners())
{
super.getThatButton().removeActionListener(al);
}
И добавьте новый ActionListener впоследствии. Я думаю это то, что вы, возможно, ищете, но я не уверен. Я бы просто добавил еще один ActionListener или заставил бы его использовать Actions вместо ActionListener.