Вам необходимо добавить NotifyIcon в форму Windows и установить для свойства Icon соответствующий значок, установить для свойства ShowInTaskBar формы значение false ,
Возможно, вы также захотите обработать событие закрытия формы и скрыть, а не закрыть форму; добавление ContextMenuStrip к NotifyIcon позволит вам предоставить контекстное меню с такими параметрами, как «Выход» и «Настройки» с соответствующими обработчиками.