После обращения в службу поддержки выяснилось, что у меня отключен старый хостинг Windows с Silverlight.
После включения мое приложение запустилось без проблем.
Так что да. Silverlight 5 работает, только если на вашем компьютере установлен плагин Silverlight 5.
Похоже, это зависит от возможности загрузки .xap и инициализации объекта Silverlight.