Если они не нужны, компилятор не добавит их в манифест сборки, поэтому действительно не помешает иметь их там.
Если вы хотите быть одержимо-навязчивым (как я часто это делаю :), тогда вы можете просто удалить один, перестроить и, если есть ошибка, добавить его обратно. Если ошибок нет, переходите к следующему. Недостатком этого является то, что если вы удалите ссылку, которую вы не используете сейчас , но хотите использовать ее позже, вы должны запомнить, какие классы находятся в какой сборке (например, если вы удалите System.Core
тогда вы должны помнить, что System.Linq
материал есть, если вы когда-нибудь решите использовать его позже)