В конце концов, это было сочетание вещей:
Оба предыдущих ответа @Andy May и @Erno были правильными. Тип mime должен быть application / x-silverlight-app, и должен присутствовать правильный файл crossdomain.xml.
Кроме того, DomainContext для всех моих классов RIA должен был указывать URI, так как по умолчанию он указывал на хост файла xap, который был s3.
После того, как эти изменения были сделаны, казалось, все работало нормально.