Если вы ссылаетесь на сборку в проекте, но фактически не используете какие-либо типы в этой сборке, неиспользуемая сборка не будет частью вашего конечного продукта. Ссылка удаляется во время компиляции.
Единственные «накладные расходы» на ссылки на неиспользуемые сборки - это во время разработки, когда ссылки на многие неиспользуемые сборки могут сбить с толку разработчика о том, какие зависимости есть у проекта. Каждая новая сборка в вашем проекте также создаст некоторые накладные расходы для IntelliSense и компилятора, но в большинстве случаев вы не заметите.
ReSharper имеет функцию для анализа, не используется ли указанная сборка.