Если вы добавляете ссылку на проект, для которого у вас есть исходный код, просто добавьте проект в свое решение и добавьте ссылку на проект. Всегда предпочитайте ссылаться на проекты, а не на двоичные, если опция доступна.
Если вы добавляете ссылку на что-то, что еще не является проектом в решении, то вам (конечно) понадобится двоичный файл.
Не пытайтесь добавить ссылку на двоичный файл, созданный проектом, который уже находится в решении. Это просто глупо. :)