Если вы не используете строгие имена, вы сможете перекомпилировать только одну сборку, да.
Однако, если вы подписываете свои сборки, нет, вам придется перестраивать все библиотеки DLL.
Если вам просто нужно все перестроить, используйте команду «Перестроить» или вручную удалите все папки «bin» и «obj» в вашем решении.