лучшим способом было бы не переименовывать ваше приложение, а использовать версионность в сборке.Тогда вам не нужно будет удалять ярлык, так как он по-прежнему будет открывать новую версию приложения.
На самом деле нет гарантии, что вы удалили все ярлыки, поскольку пользователи окна могут создавать / дублировать / перемещать / переименовыватьярлыки в любое время.