Silverlight не поддерживает воспроизведение файлов ogg vorbis.
Если вы хотите, чтобы Silverlight воспроизводил файлы, уже закодированные в ogg vorbis, я предлагаю преобразовать их. Либо выполните однократное быстрое преобразование всех ваших файлов, либо конвертируйте их на лету, пока ваш сервер их обслуживает.
В качестве альтернативы, в Silverlight 4, если вы знаете достаточно о форматах мультимедиа, а Ogg vorbis особенно важен, вы можете реализовать MediaStreamSource для поддержки ogg vorbis.
http://msdn.microsoft.com/en-us/library/system.windows.media.mediastreamsource(VS.96).aspx