.jar может открываться в любом приложении, в моей системе он настроен на открытие в WinRar!
Вы должны создать ярлык для правильной командной строки:
CreateDirectory $Desktop ; Make sure desktop exists
SetOutPath $Instdir ; Sets the .lnk working directory
CreateShortcut "$DESKTOP\JIT.lnk" "c:\path\to\java.exe" "$INSTDIR\jitconsole.jar" "$INSTDIR\images\JIT_medium.ico"
Это означает, что вам нужно определить путь Java в установщике, и если путь Java изменится, ваш ярлык может сломаться. Вероятно, лучше использовать приложение java loader:
CreateDirectory $Desktop ; Make sure desktop exists
CreateShortcut "$DESKTOP\JIT.lnk" "$INSTDIR\MyJavaLoaderForMyApp.exe" "" "$INSTDIR\images\JIT_medium.ico"