Вы должны реализовать разные MouseListeners и добавить их к каждому компоненту, в котором требуется различное поведение mouseClick.
Изменить: я добавил пример ниже. подробнее здесь вместо new MouseListener()
, который реализует MouseListener, потому что это позволяет вам реализовать только один метод интерфейса MouseListener.