Во-первых, избавьтесь от файла crossdomain.xml, так как вам нужен только файл clientaccesspolicy.xml для Silverlight (и он имеет больше возможностей).
Во-вторых, файл должен находиться в корне сайта https, поскольку не совпадает с сайтом http (я полагаю, вы поместили файл только на свой сайт http). Вам нужно войти на оба сайта, если ваше приложение обращается к сайтам http и https.
В-третьих, если у вас все еще есть проблемы, добавьте https явно в конфигурацию. например с
<allow-from>
<domain uri="http://*">
<domain uri="https://*">
</allow-from>)
На этой странице Ограничения доступа к сетевой безопасности в Silverlight более подробно описаны параметры