Простой ответ - установить для атрибута Visibility элемента Silverlight значение Collapsed следующим образом:
<TextBlock Visibility="Collapsed" />
Или вы можете скрыть весь тег объекта, используя:
style="visibility:hidden;"
Я не уверен, что вы многого выиграете, так как будут накладные расходы на связь с плагином Silverlight и браузером.Оба запускаются на клиенте (как вы упомянули), но Javascript работает по-разному в разных браузерах.Возможно, вам лучше оптимизировать свой JavaScript.