Хотя я не уверен, как изменить его во время выполнения, вы можете установить в командной строке значок Dock с помощью параметра -Xdock:icon
, например:
>java -Xdock:icon=/path/myIcon.png myApp
Эта статья содержит много полезной информации о переносе java-приложений на Mac, и вам может быть интересно посмотреть утилиты и инструменты для Mac, перечисленные здесь , а также варианты развертывания, перечисленные здесь (последняя ссылка особенно полезна, если вы хотите пойти по маршруту Java Webstart).