Каждая форма имеет свойство «Значок», которое можно установить в окне свойств, чтобы назначить значок. Похоже, это использовалось для установки значка в главной форме, поэтому окно вашего приложения выглядит правильно.
Однако есть также значок уровня проекта, который используется для окна Alt-Tab и панели задач. Вы устанавливаете это на вкладке «Make» диалогового окна «Project / Properties»:
В разделе «Приложение» вы можете установить заголовок приложения и использовать раскрывающийся список, чтобы назначить один из значков формы приложения значком приложения. Это то, что будет отображаться в диалоговом окне Alt-Tab и на панели задач.
Обратите внимание, что каждая форма также имеет свойство ShowInTaskbar, которое по умолчанию имеет значение True. Вам следует установить для этого свойства значение False для всех немодальных форм в вашем приложении (кроме основной формы), чтобы они не отображали дополнительные значки панели задач.
Наконец, вам следует проверить ссылку на ответ Адама Демпси, чтобы узнать, как поддерживать несколько разрешений значков. Как минимум, вы можете просто создать значок 16x16 и прикрепить его, как описано. Windows будет обрабатывать масштабирование, хотя вы получите некоторое размытие, когда ваш значок будет увеличен для более высоких разрешений.