Я считаю, что переключатель компилятора для этого -Wl,-subsystem,windows
.
Переключатель -Wl,<options>
передает <options>
компоновщику. Переключатель -subsystem
сообщает компоновщику, на какую систему следует ориентироваться при создании исполняемого файла.