Файл DMG не является исполняемым напрямую.Вам нужно использовать команду открытия Mac OSX:
Runtime.getRuntime().exec(new String[] { "/usr/bin/open", "sample.dmg" });
Возможно, вам потребуется полный путь к файлу dmg, но в противном случае он мне кажется вполне подходящим.Откройте также, давайте укажем приложение, чтобы сделать открытие, чтобы вы могли делать классные вещи, такие как отправка этого документа в приложении Почта в виде вложения:
Runtime.getRuntime().exec(
new String[] { "/usr/bin/open", "-a", "Mail", "letter.pdf" });
Я использую команду открытия из Mac, как этовремя.