Я бы сказал, что архитектурно, это мытье.
С одной стороны, Silverlight - это код MSIL, который является достаточно быстрым по сравнению с необработанным, оптимизированным собственным кодом, но все еще работает медленнее из-за накладных расходов виртуальной машины (CLR) и по-прежнему будет иметь низкое начальное время загрузки при работе с ngen'd.
С другой стороны, скорость Javascript гораздо менее надежна из-за огромных различий в механизмах Javascript, которые имеют диапазон производительности на порядок или более. У вас есть медленные интерпретаторы, такие как IE, хотя IE8 ускоряет работу, а затем у вас есть более быстрые компиляторы / интерпретаторы, такие как SpiderMonkey и V8, которые только недавно начали исследовать ограничения производительности Javascript. Есть также новые технологии в фазе R & D, такие как TraceMonkey, которые имеют огромный потенциал для значительного улучшения производительности Javascript (приближаясь к скорости собственного кода). Javascript имеет недостаток, заключающийся в том, что он однопоточный, но, учитывая сложность написания хорошего многопоточного кода, трудно сказать, насколько это важно.
В конце дня, сравнивая яблоки с яблоками, реальным узким местом производительности является DOM, и там не имеет большого значения, какую технологию вы используете для манипулирования им.