Похоже, у вас есть массив кнопок. Вам понадобится какой-то способ отследить, по какой кнопке jButton нажали. Вы можете создать другой массив с именем clicked [] и сохранить, какая кнопка была нажата. Затем вы можете выполнить итерацию по массиву, чтобы увидеть, соответствует ли нажатый номер текущей кнопке. Если его нет в вашем втором списке, запустите код изменения цвета, а затем добавьте его в массив clicked [].
Это всего лишь один пример, конечно, есть и другие способы, но идея состоит в том, чтобы отслеживать то, что было нажато, и запускать средство смены цвета только тогда, когда оно показывает, что кнопка не была нажата.