Только что проверил это, и он загрузит файл.
WebClient client = new WebClient();
client.Headers.Add("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)");
client.DownloadFile(url, "Filename.exe");
Вам просто нужно было добавить пользовательский агент, так как конкретная загрузка Silverlight зависит от того, в каком браузере вы работаете, поэтому, если он не сможет его обнаружить, то он потерпит неудачу.
Измените user-agent на то, что будет запускать соответствующую загрузку, которую вы хотите.