Я обнаружил, что вы можете установить магическое свойство, которое заставляет средство выбора файлов awt делать правильные вещи:
System.setProperty("apple.awt.fileDialogForDirectories", "true");
Я смутно припоминаю, как пытался сделать это раньше, когда был на OS X 10.4, и это не сработало, но теперь я на Леопарде, и это работает, так что я счастливый турист.