Имейте в виду, что приложение Silverlight работает локально в браузере пользователя. Он не может (легко) получить доступ к файлам на веб-сервере, который вы загружаете. Файлы, которые вы включаете в проект, работают, потому что они скомпилированы в DLL, которая загружается в браузер.
Для динамического доступа к файлам, загруженным на сервер, вам нужно внедрить какую-то службу WCF, чтобы отправить ее обратно. Я не знаю, можете ли вы легко «загрузить» файл в приложение Silverlight с помощью URL. Silerlight довольно туго на том, что вы можете и не можете сделать ...