Silverlight - это клиентская среда выполнения (код не выполняется на сервере). И поэтому вы не можете использовать Entity Framework для вызова БД напрямую из нее. Сервисы RIA по сути создают слой веб-сервисов, с которым Silverlight может общаться. На стороне клиента создаются прокси-классы для взаимодействия с сервисным уровнем. Служба данных RIA предназначена для того, чтобы выглядело так, как будто вы допрашиваете EF напрямую.
Чтобы использовать EF без услуг RIA, вы можете создать базовый класс обслуживания и включить в него всю свою бизнес-логику, а из этого сервиса вы можете использовать Entity Framework. Вы будете делать вызовы на этот сервисный уровень так же, как и на любой другой сервис.