Я попытался использовать JOptionPane.showMessageDialog и AWT Dialog, но оба они просто показывают диалоговое окно.Я хочу, чтобы диалог выглядел как диалог приложения для какао, выдвигаясь из верхней части окна.
Взгляните на Посмотрите и почувствуйте
Установите Look-And-Feel для SystemDefault, для OSX он будет выглядеть как родной.
UIManager.setLookAndFeel( UIManager.getSystemLookAndFeelClassName() );
Существует также красивый LookAndFeel, который выглядит как OSX для других платформ: Quaqua Look and Feel
см. JOptionPane