Если у вас нет ссылок с UseSpecificVersion, установленным в true, достаточно заменить библиотеку новой. После перестройки решения ваши проекты будут ссылаться на новую библиотеку. Это будет работать, если имя библиотеки не включает номер версии (то есть ваша библиотека называется SomeLibrary.dll)
Если имя библиотеки другое, то простым решением будет просто открыть все файлы * .csproj в текстовом редакторе и выполнить поиск и замену.