Неиспользуемые ссылочные сборки удаляются компилятором.
Создайте новое консольное приложение в VS, и оно будет ссылаться по умолчанию на несколько сборок.Скомпилируйте вашу пустую программу и откройте ее в рефлекторе, и вы увидите, что на нее ссылается только mscorlib.Остальные удалены.
То же самое касается неиспользованных using операторов.Компилятор удаляет их.
Возможно, вы захотите удалить неиспользуемые ссылки и использовать их для поддержания чистоты и удобства чтения.