Вы можете щелкнуть правой кнопкой мыши ссылку в обозревателе решений и выбрать «Свойства». Один из вариантов - «Копировать локально». Установите значение false, и сборка не будет скопирована.
Просто поймите, что сборка должна быть обнаруживаемой во время выполнения. Вот почему он копирует его локально по умолчанию.