Насколько я знаю в Silverlight, у вас есть порт в диапазоне 4502-4534, и файл политики должен быть на сервере, чтобы разрешить соединение. Я не удивлюсь, если в некоторых случаях разрешены локальные сетевые подключения.
Хотя я не слишком знаком с Silverlight 3, см. http://msdn.microsoft.com/en-us/library/cc645032(VS.95).aspx для получения дополнительной информации.
Если в журнале доступа HTTP вы видите файл политики GET, возможно, вам удастся разбить проблему на две части.
Отредактировано: текст изменился, потому что сначала по какой-то причине я подумал, что вы сказали, что тестировали на "localhost".