Выполнение .jar напрямую может не иметь особого смысла в установщике, но вы можете взять код из простого NSIS Java средства запуска и использовать его в установщике, если вам нужно только запустить его Java приложение один раз.
Если пользователь собирается запустить его несколько раз, то имеет смысл использовать реальный Java лаунчер, такой как Launch4j или один из множества других Java пусковых установок там.