Нет, вам все равно нужно будет перекомпилировать против версий сборок Silverlight. Вы можете добавить эти файлы в проект библиотеки классов Silverlight «в виде ссылки», разделяя один и тот же файл между обоими проектами, чтобы вам, по крайней мере, не пришлось беспокоиться о нарушении синхронизации.