Боюсь, что нет. Официальная документация hdiutil здесь , и доступны только zlib и bzip2.
Кстати, насколько он большой? Что занимает большую часть пространства? Попробуйте уменьшить размер самого .app.
Кстати, из моего личного общения с неопытными пользователями, я могу засвидетельствовать, что упаковка .app в .dmg является для них очень запутанной концепцией ... Они не понимают, что такое образ диска и что это означает, что он монтируется как диск. Им было бы легче понять, если .app просто заархивирован или bzip2'ed, который автоматически распаковывается при загрузке из Интернета.