Silverlight запускается на клиенте, а не на сервере, поэтому вы не можете ссылаться на библиотеки SharePoint. Вам нужно будет создать серверную службу, которая использует dll sharepoint, а затем вызвать эту службу из Silverlight.
Существуют встроенные точки входа для разработчиков sharepoint, на которые я ссылаюсь в моем блоге здесь . Вы, вероятно, могли бы использовать их вместо использования dll sharepoint.