Очевидно, что для приложений Какао вы должны реализовать [[NSApp delegate] application:openFile:] или что-то подобное, чтобы позволить вашему приложению открывать файлы двойным щелчком в Finder.
Как вам добиться этой функциональности, используя Qt, какимя открываемого файла не передается в командной строке?