Silverlight запускается в изолированной программной среде браузера, поэтому он не позволяет напрямую обращаться к неуправляемой сборке. Даже если вы оберните неуправляемый код в сборку C #, он все равно будет загружен в том же домене приложения, который ограничен тем же ограничением безопасности.
Я читал, что вы можете использовать html-взаимодействие между silverlight и ActiveX, но я сам этого не испытывал. Кроме того, вы можете развернуть полное приложение WPF и, если вы подпишете его с соответствующим сертификатом и настройками безопасности, оно сможет получить доступ к неуправляемому коду - если это вариант.