Ваш сервер сборки должен быть в значительной степени точной копией вашей машины разработки, если речь идет о подключаемых модулях, сборках, времени выполнения, SDK и т. Д.
Ваш сервер сборки будет собирать ваше приложение через MSBuild.
В вашем конкретном случае я подозреваю, что вам нужно установить Silverlight Toolkit. Это даст вам среду выполнения разработки SL и соответствующие реквизиты сборки проекта для ваших файлов XAP, которые будут собраны и правильно развернуты.