Если у вас есть сборка (dll), которая может интерпретировать вызовы Mathlab, вы сможете включить эту сборку в свой проект и скомпилировать ее с остальной частью вашего приложения.
Очевидно, что вы не сможете запускать Silverlight параллельно для взаимодействия с установленным экземпляром Matlab (если API не предоставляется через COM-взаимодействие и использование Silverlight 4, но это может привести к путанице).
Веб-API на sourceforge, как упомянул Мэтт, кажется очень подходящим, если вы не можете найти сборки, которые можно включить непосредственно в приложение Silverlight. Прочитайте мои комментарии там для дальнейших мыслей.