Я сделал это вручную, добавив нужные значения реестра, и все работает нормально:
<Component Id="NSSM" Guid="[MYGUID]">
<File Id="NSSM" Name="nssm.exe" Source="nssm.exe" />
<ServiceInstall Id="RenderSvc" Name="Render" DisplayName="Render" Type="ownProcess" Start="auto" ErrorControl="normal" />
<RegistryKey Root="HKLM" Key="SYSTEM\CurrentControlSet\Services\Render\Parameters">
<RegistryValue Name="AppDirectory" Value="[F_ROOT]bin" Type="expandable" />
<RegistryValue Name="Application" Value="[F_BIN]render.exe" Type="expandable" />
<RegistryValue Name="AppParameters" Value="" Type="expandable" />
<RegistryKey Key="AppExit">
<RegistryValue Value="Restart" Type="string" />
</RegistryKey>
</RegistryKey>
<ServiceControl Id="RenderSvc" Name="Render" Start="install" Stop="both" />
</Component>
После проверки полученного MSI-файла в Orca я думаю, что он создает значения реестра перед созданием службы. Было бы лучше сделать это сразу после создания, но это работает для меня, поэтому я остановился здесь.