1 - добавить значок к ресурсам проекта и переименовать в icon.
2 - открыть конструктор формы, к которой вы хотите добавить значок.
3 - добавить InitializeComponentfunction.
4 - добавьте эту строку вверху:
this.Icon = PROJECTNAME.Properties.Resources.icon;
повторите шаг 4 для всех ваших форм.