JSpinner является составным компонентом, к компонентам, которые он содержит, можно добавлять mouseListener. Вам придется немного поэкспериментировать, чтобы понять, как отличить кнопки друг от друга и от текстового поля. Один быстрый и грязный способ - проверить их координаты.
Я не уверен, хотите ли вы перебирать компоненты, содержащиеся в самом JSpinner, или компоненты, содержащиеся в контейнере, возвращаемом JSpinner.getEditor()
, поэтому попробуйте оба.