В Mac OS X 10.8 вы найдете приложение Character Viewer здесь:
/System/Library/Input Methods/CharacterPalette.app
Я думаю, что самый простой способ запустить это из приложения Java - использовать выполнение процесса:
new ProcessBuilder("/System/Library/Input Methods/CharacterPalette.app/Contents/MacOS/CharacterPalette").start();