да, конечно, что происходит, когда вы открываете свое приложение, создается значок, но когда вы закрываете его, ваше приложение не удаляет значок, когда он закрывается, так что ...
вам просто нужно открытьTaskbarNotification код и сделать метод утилизации общедоступным и вызвать его в событии Application.Current.Exit
Application.Current.Exit += new ExitEventHandler(Current_Exit);
void Current_Exit(object sender, ExitEventArgs e)
{
notifyIcon.Dispose();
}