Для запуска файлов не .exe / .cmd / .bat требуется ExecShell.ExecShell настолько близок к «двойному щелчку в проводнике», что вы получите.
Но здесь есть проблема, .mov является распространенным расширением, и вы не знаете, что конечный пользователь установил наоткрывать файлы .mov, это могут быть MPC, VLC, mplayer и т. д., поэтому простое использование ExecShell может дать сбой.
Вероятно, лучше попытаться найти QT и выполнить его напрямую:
ReadRegStr $0 HKLM "SOFTWARE\Apple Computer, Inc.\Quicktime" "InstallDir"
ExecShell "" '"$0\QuicktimePlayer.exe"' '"$Instdir\MyFile.mov"'